Publiez vos données sur data.gouv.fr avec le module DCAT Isogeo

Suite à l'arrêt de geo.data.gouv.fr, les clients Isogeo ne peuvent plus utiliser la passerelle INSPIRE basée sur le CSW pour publier leurs catalogues de données géographiques sur data.gouv.fr.

Aussi, grâce au financement des départements du Loiret, du Calvados et de la ville de Bayonne que nous remercions tous chaleureusement, un nouveau serveur DCAT (Data Catalog Vocabulary) basé sur l'API Isogeo et compatible avec le modèle du moissonneur DCAT de data.gouv.fr a été développé.

Ce nouveau produit est le fruit de la collaboration entre l'équipe technique Isogeo et notre partenaire Living Data, représenté par son fondateur Jérome Desboeufs.

Découvrez le fonctionnement de ce nouveau module d'interopérabilité dans cet article !

Choix technologiques

Le serveur DCAT a été développé comme une application tierce de la plateforme Isogeo, fonctionnant sur le même principe que l'OpenCatalog.

Il suffit de partager un ou plusieurs catalogues au module DCAT, et une url contenant l'identifiant du partage et un token de sécurité sera générée. Cette URL est moissonnable par data.gouv.fr.

Concernant les caractéristiques techniques, le serveur DCAT est développé en Node.js, propulsé par un serveur ExpressJS avec un Reverse Proxy NGINX et hébergé sur une App Service Azure.

Le serveur utilise également les capacités de l'API de gestion des services géographiques développée par Isogeo pour générer des urls de téléchargement des données à partir des services WFS et EFS associés aux métadonnées.

Comme la majorité des outils Isogeo, le serveur bénéficie d’une pipeline CI-CD Azure DevOps permettant de faciliter les mises à jour et l'optimisation du produit.

Champs de métadonnées

Pour synchroniser les métadonnées Isogeo avec le modèle de métadonnées de data.gouv.fr, nous avons élaboré un tableau de correspondance des champs en fonction de ce qui était récupéré par le moissonneur DCAT de data.gouv.fr.

Liens de téléchargement de la donnée

Pour publier sur la plateforme open data nationale, il ne suffit pas de publier les métadonnées : il faut également permettre le téléchargement des données.

Via des liens de téléchargement direct

Il est possible d'exploiter les liens de téléchargement des fichiers téléversés sur la plateforme Isogeo ou des liens de téléchargement saisis dans l'onglet Ressources/Données de la fiche de métadonnées.

Le titre du lien indiqué dans Isogeo, son url et son format sont donc récupérés et intégrés aux ressources de la fiche data.gouv.fr.

Via les services géographiques

Nous avons également décidé d'exploiter les services WFS associés aux fiches de métadonnées. En effet, ces services permettent d'extraire la donnée dans les formats et projections disponibles selon le serveur cartographique utilisé (ArcGIS Server, QGIS Server, Geoserver, GEO...).

Dans un premier temps, nous avons choisi de générer des urls de téléchargement au format GeoJSON en WGS 84 lorsque le serveur cartographique le permet. En effet, le GeoJSON est un format préconisé par data.gouv.fr et celui-ci est généralement supporté en téléchargement par les serveurs cartographiques.

L'API de gestion des services cartographiques est appelée pour détecter si ce format d'export et cette projection sont disponibles et l'url de téléchargement est générée le cas échéant. Cette url est ensuite intégrée aux ressources de la fiche data.gouv.fr. Le titre du lien est automatiquement le nom de la couche de service.

Identifier les jeux de données invalides

En ajoutant l'argument "/debug-page" dans l'url DCAT, un rapport HTML est généré indiquant les jeux de données valides et les jeux de données invalides. Concernant ces derniers, un message identifiant la raison pour laquelle le jeu est invalide est affiché. L'invalidité est déterminée si la métadonnée ne contient pas de titre ou de lien de téléchargement valable. Un avertissement est également affiché si la métadonnée ne contient pas de licence libre.