Archives de catégorie : Non classé

Guide d’utilisation de QGIS 3.4 par les collègues Normands

Aprés la version initiale Bourguignone, sa mise à jour Picarde, voici la dernière version du guide d’utilisation de QGIS 3.4 par Nathalie Moreira et Charles Bouteiller du CEN Normandie 🙂

Bravo et merci à eux.

Générer une premiere page de synthese d’un document pdf

Pour l’archivage de nos documents fonciers nous souhaitons standardiser leur stockage sur le réseau ainsi que rendre facile une lecture synthétique du document.

Pour cela nous allons générer une première page contenant le texte synthétique en pdf, la fusionner avec le document initial et produire le document final.

convert -extent 2100x2970 -background white -fill black -pointsize 80  -font Sawasdee \
label:' contrat n° 554 \ndate signature : 2016/09/28\nsignataire : Commune Douzens & ONF & CENLR
\ntype contrat : Conv. Part. Gestion\nduree : 5 ans\ntacite conduction : oui ' -bordercolor white -border 10 couv.pdf

pdfjam --outfile out.pdf --paper a4paper test4.pdf

pdftk couv_a4.pdf 11_Douzens_Convention\ gestion_Douzens_CEN_ONF.pdf cat output 554_douzens_onf_cenlr_CPG_5ans_rt.pdf

Du json pour structurer nos observations

WITH data AS (
SELECT 10312 AS id_obs, 'tetrax tetrax' as espece, 'mathieu' as observateur, '{"mâles": 12, "femelles": 3, "oeufs": 7}'::jsonb AS effectif
UNION
SELECT 15021 AS id_obs, 'zerynthia rumina' as espece, 'paul' as observateur, '{"mâles": 3, "immatures": 3, "larves": 7}'::jsonb AS effectif
UNION
SELECT 15897 AS id_obs, 'tetrax tetrax' as espece, 'paul' as observateur, '{"mâles": 4, "immatures": 15}'::jsonb AS effectif
)
/* les données qui contiennent des obs de mâles */
--SELECT id_obs, observateur, effectif->'larves' AS nb_larves, effectif->'mâles' AS nb_males from data --WHERE effectif ? 'larves'
/* les effectifs des différents objets observés (mâles, femelle, immature, oeufs) en colonne */
--SELECT id_obs, observateur, effectif, (effectif->>'larves')::integer AS nb_larves, (effectif->>'mâles')::integer AS nb_males, (effectif->>'femelles')::integer AS nb_femelles, (effectif->>'oeufs')::integer AS nb_oeufs from data --WHERE effectif ? 'larves'
/* des agrégations */
SELECT count(id_obs), espece, string_agg(DISTINCT observateur,',' ORDER BY observateur), sum((effectif->>'larves')::integer) AS nb_larves, sum((effectif->>'mâles')::integer) AS nb_males from data GROUP BY espece --WHERE effectif ? 'larves'

Saisie de données naturalistes avec ODK

Le formulaire « ABC » est destiné aux étudiant du Master IEGB de Montpellier dans le cadre du projet Colibri. Il peut être utilisé pour saisir les observations naturalistes réalisées sur le terrain, que l’on soit connecté ou non.

Il a été développé par un étudiant d’IEGB de 1ere année – Jean Baïsez – en 2019.

Le tutoriel ci-dessous a été rédigé pour un second formulaire, seules les captures d’écran diffèrent. Vous pouvez donc le suivre pas à pas pour le formulaire ABC

Au delà de l’ABC, les données collectées contribueront à la connaissance du CEN L-R et à la mise en oeuvre des ses actions de conservation des espaces naturels et des espèces. Vous porrez collecter des données d’observations naturalistes relatives aux espèces, aux habitats naturels, ainsi que des données de pression sur le milieu et des notes illustrées géoréférencées.

Elles seront également instantanément redistribuées et mises à disposition de l’ensemble des pôles thématiques du SINP :

reptiles,
amphibiens,
mammifères,
invertébrés,
oiseaux
Flore et habitats naturels…

Ce formulaire utilise l’application ODK Collect.

ODK (Open Data Kit) est une solution libre (opensource) permettant la mise en place de formulaires sur mobile (uniquement pour Android !) et l’intégration des données récoltées par ces formulaires dans une base de données.

Nous allons voir ici comment utiliser l’application puis le fonctionnement du formulaire « ABC ».

Comment installer le formulaire sur votre téléphone ?

Quelques étapes rapides de configuration sont nécessaires pour installer le formulaire sur votre téléphone :

Étape 1 : Téléchargez la dernière version de l’application

Téléchargez l’application ODK Collect sur le Playstore (recommandé); ou bien téléchargez directement l’APK sur le github du projet (dérouler le sous menu « Assets ».

La dernière version (supérieure ou égale à 1.22 est nécessaire)

Étape 2 : Configurez l’application

Une fois téléchargée, installée et lancée, il vous faudra configurer ODKCollect afin d’avoir accès au formulaire en question.

a) Depuis l’écran d’accueil cliquez sur les 3 points en haut a droite de votre écran

b) sélectionnez » Paramètres administrateur »

c) puis « Importer/Exporter les paramètres »

d) enfin cliquez sur » SCANNER UN CODE DEPUIS UN AUTRE APPAREIL » et scannez le QR Code ci-dessous :

L’application est maintenant correctement configurée pour pouvoir télécharger le formulaire et y envoyer vos données par la suite

e) Vous pouvez maintenant retourner sur la page d’accueil et cliquer sur » Modifier les Paramètres »

f) puis cliquez sur » Identité de l’utilisateur et de l’appareil «

g) pour pouvoir avoir accès aux » Métadonnées du formulaire «

h) Ici il vous faut entrer votre adresse mail (qui servira d’identifiant au moment de saisir les données dans le formulaires) ainsi que vos nom et prénom séparés par un espace (ex: « Baisez Jean ») ; vous pouvez également indiquer l’un des 3 règnes » 1 » pour Animal, » 2 » pour Végétal ou « 3 » pour Champignon; dans » Numéro de téléphone » suivant celui que vous utilisez le plus;

cela permettra une pré-sélection du règne lors de la saisie.

i) Choix du mode de navigation :
Dans l’onglet » Interface utilisateur « , il est possible de choisir comment vous souhaitez naviguer entre les différents écran du formulaires,

j) Choix du moteur cartographique : nous préconisons l’utilisation de Mapbox, plus rapide pour vous géolocaliser, et du fond de carte « Sattelite ».

Étape 3 : Télécharger et remplir un formulaire, puis l’envoyer

Maintenant que l’application est configurée, vous pouvez accéder aux formulaires disponibles sur le serveur

k) cliquer sur » Télécharger un formulaire vierge «

l) télécharger le formulaire » ABC » (vous pouvez aussi télécharger le questionnaire de satisfaction, il est très rapide à compléter et me permettra, d’avoir des retours sur le formulaires et d’exploiter les résultats de ce formulaire de statisfaction dans mon rapport de stage et ma soutenance (merci !)

m) cliquer sur » Remplir un formulaire » et sélectionner » ABC «

n) une fois à la fin d’un questionnaire, validez l’écran qui vous propose de le « sauvegarder et de le marquer comme finalisé ». Vous pourrez toujours l’éditer par la suite.

o) quand vous le souhaiterez, si vous avez du réseau (téléphone ou wifi) vous pourrez envoyer le formulaire finalisé pour pouvoir observer vos données en ligne par la suite.

Voila, vous savez à présent vous servir de l’application ODK Collect

Astuces :

* utilisez le bouton « retour arrière » de votre téléphone pour sortir d’une interface clavier

* utilisez le bouton « retour arrière » de votre téléphone pour sortir d’un formulaire

* utilisez la flèche en haut a droite de n’importe quel formulaire pour revenir à n’importe quel endroit du formulaire

* restez appuyez sur une réponse pour pouvoir la supprimer ou supprimer le groupe dans laquelle elle est contenue (groupe = observation ou emplacement)

Fonctionnement du formulaire ABC

Informations :

Le premier chargement du formulaire prendra un peu de temps car l’application doit intégrer les référentiels taxonomiques. Les lancements ultérieurs seront instantanés.

Les questions comportant des * sont des questions obligatoires qui ne peuvent être passées. Si la question ne comporte pas cette * alors vous pouvez passer à l’écran suivant sans même y répondre (ex: prendre une photo n’est pas une question obligatoire vous pouvez l’ignorez totalement)

La localisation se fait sur la carte automatiquement sur votre emplacement (le GPS doit etre activé), cependant il vous est possible de rester appuyez sur un autre endroit de la carte pour changer les coordonnées. Une fois les coordonnées sélectionnées vous pouvez les supprimer avec l’icône de poubelle ou les enregistrer et passer à la suite avec l’icone représentant une disquette.

Rappel : vous pouvez à tout moment cliquer sur les 3 points en haut a droite pour vous rendre dans l’interface utilisateur et changer le fond de carte ; cette fonctionnalité est également disponible si vous cliquez sur le bouton « couche » au dessus de poubelle (mais encore indisponible avec mapbox dans la version 1.22 d’odkCollect).

Les noms latins et vernaculaires sont acceptés dans le champs de recherche d’espèce, cependant certaines espèces sont enregistrées avec leur nom latin uniquement

L’url vous permet de visiter la page de l’espèce sélectionnée sur le site de l’INPN et ainsi pouvoir confirmer ou infirmer votre observation si vous aviez des doutes. Il se peut que l’espèce ait changé de nom ou de code et que la page soit introuvable. Une fois sur le site, appuyez sur le bouton retour de votre téléphone pour revenir au formulaire.

Les photos prisent dans le formulaire seront visibles sur l’interface en ligne Redash.

Les fonctions d’ajout de groupe :

Une fois la 1ère observation saisie, le formulaire vous demande » Ajouter un nouveau groupe ? » : » Ajouter une observation ? « , si vous cliquer sur » AJOUTER UN GROUPE « , vous pourrez ajoutez une espèce pour les mêmes coordonnées sans avoir besoin de retourner sur la carte. Si vous sélectionner » NE PAS AJOUTER » alors le questionnaire vous re-propose d’ajouter un groupe mais cette fois pour entrer une nouvelle localité.

Par exemple, vous observez 2 espèces sur un même site, vous pouvez sélectionner l’emplacement sur la carte, sélectionner la 1ere espèce puis ajouter une observation pour ajouter la 2nde espèce pour la même localité ; ensuite vous vous déplacez un peu plus loin et observez une 3ème espèce, vous pouvez alors ajouter une nouvelle localité pour ensuite ajouter un groupe « espèce » et saisir votre observation.

Rappel : si vous désirez supprimer un groupe créé par erreur, il vous faut rester appuyez sur une question de ce groupe et sélectionner : » Supprimer le groupe «

Mise à jour du formulaire : il est possible que nous mettions à jour le formulaire, par exemple pour reformuler une question ou en ajouter une nouvelle…
Si c’est le cas, cela sera signalé en vert dans la section « télécharger un formulaire vierge ». Vous pouvez paramétrer l’application pour qu’elle charge automatiquement les nouvelles versions des formulaires.

Vous connaissez maintenant le fonctionnement du formulaire « ABC »

Consultation de vos données

Vos données seront intégrées automatiquement à l’interface web « SICEN« , qui est l’interface utilisée par le CEN.

Le mode d’emploi de l’interface SICEN est disponible sur le site du CEN Centre-Val de Loire ici (ou en vidéos ici). Lors de votre première connexion, il vous faudra faire une demande de nouveau mot de passe. Vous recevrez alors un mail avec un mot de passe généré par l’application : http://cenlr.sicen.fr

Vous avez ici accès à l’ensemble des donénes colelctées par l’équipe du CEN LR, elle n’ont pas vocation à être diffusée par vos soins. Les diffusions exterieures doivent faire l’objet d’une demande auprés de Mathieu Bossaert, qui s’occupe techniquement de cet export.

En parallèle, nous travaillons à la mise en place d’un tableau de bord personnel de vos observations. Cette interface utilise l’outil nommé Redash.

Elle vous permettra de localiser les observations sur une carte et d’accéder à des graphiques statistiques, à des photos (celles prise avec l’application) et et aux détails que vous aurez ajoutés.

Vous pouvez accéder à cette interface en cliquant ici.

Cette interface est encore en développement, à l’heure actuellel les observations de tout-un-chacun sont visibles en même temps sur la carte et ne sont pas dissociables (bien qu’ en cliquant dessus on puisse tout de même savoir qui a fait l’observation).

au cours de l’automne, ce tableau de bord sera personnalisé et offrira à l’observateur la synthèse de ses seules observations.

Il sera en outre possible de trier les observations par taxon, par date, par commune, etc…

Plus d’informations sur les outils de collecte et de retsitution utilisés au CEN

http://si.cenlr.org/OpenDataKit_au_FOSS4G-fr_2018
http://si.cenlr.org/geoodk_sicen_mobile
http://si.cenlr.org/29-03-2018/sicen-odk-lizmap-postgis
http://si.cenlr.org/geo_odk_lien_base_de_donnees_postgis_rbdd_cnrs
http://si.cenlr.org/rapports_web_avec_redash

Fusionner des shp et conserver le nom du fichier dans un champ

Petit script fort utile, trouvé ici : https://gis.stackexchange.com/questions/22175/adding-field-with-filename-when-merging-shapefiles-with-ogr2ogr

!/usr/bin/bash
for f in *.shp
do
base=${f%.shp}
ogrinfo $f -sql "ALTER TABLE "$base" ADD COLUMN espece character(40)"
ogrinfo $f -dialect SQLite -sql "UPDATE "$base" SET espece = '$base'"
ogr2ogr -update -append merged.shp $f
done

Avril 2022 : L’outil de fusion de couches vecteur de QGIS le fait désormais. Peut-être le faisait-il déjà…

Présentation de Redash par son concepteur Arik Fraimovich

Interview d’Arik Fraimovich sur www.pythonpodcast.com

Formulaire de saisie de données sur le terrain avec ODK

Nous avons développé en 2019 un formulaire de terrain plus évolué en tirant profit de manière approfondie des possibilités offertes par Open Data Kit.

Open Data Kit est un outil de création de formulaires de collecte de données sur téléphone, robustes, fonctionnant en mode déconnecté, disposant de tous les types de données dont nous avons besoins (y compris les types géographiques), permettant d’associer aux données des médias collectés depuis le téléphone… Sans développement autre que la transposition de la logique du protocole de collecte dans le standard xlsform !

Présentation du formulaire

Ce formulaire de collecte de données naturalistes est assez évolué avec :

des affichages de champ conditionnés par le groupe du taxon saisi
une liste de taxons qui fait apparaître distinctement les noms valides et les synonymes
la possibilité de personnaliser l’application en utilisant les métadonnées de l’utilisateur dans l’application odkcollect (sur le téléphone)
- Par défaut, renseignez le numéro de téléphone avec les valeur 0123456789
récupération automatique des photos collectées et affichage dans notre base métier…
- https://framagit.org/mathieubossaert/sql_divers/snippets/3620
- et https://si.cenlr.org/postgresql-blob-images-to-files
création automatique de compte dans notre base métier 😉

Il permet aux collègues qui sont sur le terrain de renseigner des observations d’espèces et d’habitats naturels ainsi que des observations de menaces ou de pressions sur le milieu ou des observations plus générales (photo + typologie + commentaire). Les données saisies sont géolocalisées est exploitable dans notre SIG.

La logique du formulaire est décrite dans le schéma ci-dessous. Plus bas nous vous présentons les captures d’écran correspondant à la saisie d’une observation d’espèce animale.

La structuration des données dans la base de données en rend l’exploitation très aisée (une table principale et des tables « filles » pour chaque boucle).

Vous trouverez ci-dessous une archive zip contenant le formulaire et ses médias afin de le tester sur votre téléphone, ainsi que le rapport de stage de Jean Baïsez qui est à l’origine de nombreuses améliorations présentes dans ce formulaire.

La communauté d’OpenDataKit est très très réactive et de nombreuses discussions autour de ce formulaire et de nos besoins ont été menées sur le forum :

La dernière en date qui a fait l’objet d’un entretien téléphonique avec Callum Stott en novembre et apportera des nouveautés dans la version 1.26 d’odkcollect :

https://forum.opendatakit.org/t/repeat-research-results/24294

Enfin, une évolution très importante permettra en 2020 (on croise les doigts), à partir du même formulaire xlsform, de disposer à la fois d’un formulaire pour téléphone mais aussi de sa version web (comme le propose enketo) : https://forum.opendatakit.org/t/integration-of-enketo-into-odk-central/13992

Vous trouverez plus d’informations sur la mise en œuvre d’ODK dans votre système d’information ici : https://framagit.org/formationodk/formulaires/-/wikis/home

Architecture / logique du formulaire

Captures d’écran

Avant de démarrer pensez, dans les métadonnées de l’utilisateur, à renseigner le numéro de téléphone avec les valeur 012345678, pour activer la saisie de point, de ligne et de polygones relatifs à l faune, la flore et aux habitats naturels.

Choix de l’action -> remplir un formulaire
Choix du formulaire -> sicen_2019
Renseignements sur l’observateur -> si les métadonnées sont correctement remplies dans l’application ODKCollect, ces champs sont alors pré-remplis. Voir le menu « Métadonnées de formulaire » dans les préférences de l’application.
Date et heure renseignées par défaut mais peuvent être modifiées.
Choix de l’étude
Choix du protocole
Localisation de l’observation Choisir le type d’objet géographique que vous souhaitez collecter entre un point, une ligne ou un polygone. Plus d’informations sur les « geo-widgets » disponibles ici : https://docs.opendatakit.org/form-question-types/#location-widgets Cette liste de choix est paramétrable dans les préférences de l’application (métadonnées du formulaire). il faut que le champ « numéro de téléphone », que nous n’utilisons pas par ailleurs contiennent une ou plusieurs valeurs parmi : 6 pour « point » 7 pour « ligne » 8 pour « polygone »

Affichage de la localisation sur la carte Affichage par défaut de l’emplacement calculé par le GPS mais cette localisation peut être déplacée (bouton « jalon ») On valide l’endroit avec l’icone « disquette ».

Choix du type d’observation plusieurs observations, de diffrénets types, pourront être réalisées sur l’emplacement précédemment enregistré. Cette liste de choix est paramétrable dans les préférences de l’application (métadonnées du formulaire). il faut que le champ « numéro de téléphone », que nous n’utilisons pas par ailleur contiennent une ou plusieurs valeurs parmi : 1 pour animal, 2 pour plante, 3 pour champi , 4 pour habitat, 5 pour pression/menace, ou 6 pour observation générale Nous détournons ici un champ de métadonnées que nous n’utilisons pas. L’utilité de pouvoir disposer de métadonnées « personnelles » dans l’application est discutée sur le forum.
Saisie d’une donnée d’espèce animale
A partir de 3 caractères saisis, en police grasse et bleu des taxons de références, en rouges des synonymes (avec mention du taxon de référence). Nous avons fait le choix de n’afficher que les taxons qui commencent par les caractères saisis, mais il est possible d’afficher les taxons qui contiennent ces mêmes caractères : https://docs.opendatakit.org/form-operators-functions/#strings
Choix de l’espèce
Description de l’observation Pour chaque age et pour chaque sexe un effectif pourra être renseigné. Certaines valeurs de listes seront cachées ou affichées selon le groupe taxonomique auquel appartient l’espèce sélectionnée. Par exemple pas de stade œuf pour un mammifère, ni de larve pour un oiseau.

Compléments de description
Comment l’espèce a-t-elle été déterminée ? Quel était son comportement ? Les valeurs sont adaptées au groupe taxonomique de l’espèce. Dans notre exemple les « code atlas » puisque nous saisissons une donnée d’oiseau Vous pouvez saisir une remarque générale ainsi qu’une photo.

Ajout d’une nouvelle observation sur la localité en cours ? Si oui on recommence la boucle ici Si non on passe à l’écran suivant.
Ajout d’une nouvelle localité à la session en cours ? Si oui on recommence la boucle ici Si non on passe à l’écran suivant.
Fin de la session On peut marquer le formulaire comme finalisé. Pour l’envoyer plus tard au serveur.
Métadonnées de formulaire / personnalisation du formulaire A renseigner dans le menu « Préférences » de l’application Dans ce formulaire nous détournons le numéro de téléphone pour permettre de personnaliser l’application : Selon les chiffres que contiendra le numéro vous activerez différentes possibilités : Le choix de la thématique : 1 pour animal, 2 pour plante, 3 pour champi , 4 pour habitat, 5 pour pression/menace, ou 6 pour observation générale Le choix du type d’objet géographique : 7 pour les points 8 pour les lignes et 9 pour les polygones Par défaut définissez le numéro de téléphone à 0123456789

Conclusion

Décliner une méthode ou un protocole de collecte de données dans un formulaire pour téléphone n’est pas une tâche compliquée. Le formulaire présenté ici peut paraitre complexe mais l’apprentissage du xlsform est assez facile.

Les possibilités offertes par Open Data Kit nous permettent de décliner de nombreux protocoles sans devoir développer chaque fois une application. Le staockage des donénes en base est trés logique et facile à interroger.

Exploitation des données dans Redash

Redash permet de mettre en place des tableaux de bord web (interfaces de consultation de données) sans faire de développement autre que les requtes SQL sur la base de données alimentée par ODK ;-), ce que nous faisons pour l’instant (voir cet article), ou en interrogeant l’API d’ODK Central, qui remplacera Aggregate dans les prochains mois dans notre SI (ODATA à tester)

A suivre donc !

Présentations diverses réalisées ça et là depuis 16 ans maintenant

Pour préparer une présentation de notre SI et des outils utilisés, je me suis replongé dans les présentations réalisées au fil des années.
Travail d’archéologie intéressant, qui montre l’évolution de la boite à outil du CEN L-R et les choix discutables en matière de fond de diapositives 😉

Pour centraliser ces présentations je vais les lister ici dans l’ordre chronologique.

FORUM TIC de l’ATEN – 2007 : Utilisation du modèle relationnel pour la gestion des données utilisées par le CEN LR

Séminaire des CEN – 2007 : Utilisation du modèle relationnel pour la gestion des données utilisées par le CEN LR

Présentation proche de la prcédente, réalisée devant les collègues du réseau des CEN à l’ocasion du séminaire organisé à Sète puis devant le conseil scientifique du CEN LR en janvier 2018

Réseau IDEAL – 2007 : Mise en place d’un système d’information partagé au service de la maîtrise foncière en Languedoc Roussillon

FORUM TIC de l’ATEN – 2010 : Cas d’Utilisation de l’ETL Spatial Data Integrator au sein du CEN-LR

Postgresql Session #2 – 2011 : PostgreSQL et PostGIS dynamisent le SI du CEN L-R

Master SIIG3T – 2011 : le rôle du géomaticien, de la cartographie à la gestion transversale du système d’information

Congrés mondial des parcs – 2014 : Land stewardship – Caring together for man and nature (présentation Sozi, non géomatique)

Congrés mondial des parcs – 2014 / eposter : Wine and nature conservation (présentation Sozi, non géomatique)

Salon des métiers de l’écologie – 2014 : L’importance des données précises pour les gestionnaires de l’environnement (presentation sozi / svg )

Master SIIG3T – 2015 : Applications du webmapping à la connaissance et à la conservation des espaces naturels

FORUM TIC de l’ATEN – 2015 : Outils nomades – OpenDataKit & GeoODK

Congrés commun FCEN/RNF – 2015 : Collecte de données : ODK et « SiCen Mobile »

Séminaire utilisateurs de QGIS – 2015 : QGIS comme outil de reporting (presentation sozi / svg )

Réseau BDD du CNRS – 2016 : Open Data Kit & GeoODK (lien vers la vidéo ici)

Séminaire des CEN – 2016 : Retours d’expérience du réseau – acquisition moderne de données

Réseau BDD du CNRS – 2018 : 10 ans de PostGIS ! De la saisie web au mobile

FOOS4G 2018 – Open Data Kit pour la collecte de données géographiques

FORUM TIC de l’AFB – 2018 : Biodiv-Eau – Migration de l’outil informatique du CMS Drupal vers Lizmap

Séminaire des CEN – 2018 : Outils de reporting

FORUM TIC de l’AFB – 2019 : Tableaux de bord dynamiques avec redash

Webinaire organisé par Naturel Solution en juin 2021

Congrés des Cen – Tours, 19 novembre 2021

Collecte de données dans le cadre de l’ABC de la zone du projet Colibri

Il a été développé par un étudiant d’IEGB de 1ere année – Jean Baïsez – en 2019.

Le tutoriel ci-dessous a été rédigé pour un second formulaire, seules les captures d’écran diffèrent. Vous pouvez donc le suivre pas à pas pour le formulaire ABC

Elles seront également instantanément redistribuées et mises à disposition de l’ensemble des pôles thématiques du SINP :

reptiles,
amphibiens,
mammifères,
invertébrés,
oiseaux
Flore et habitats naturels…