Créer et gérer un connecteur de catalogue

Un connecteur de catalogue relie votre espace Data Fair à un catalogue de données distant : un service extérieur qui expose ses propres jeux de données (data.gouv.fr, un portail CKAN, un serveur SFTP, un service géographique WFS…). Le service catalogues de Data Fair permet de créer un tel connecteur, de parcourir les ressources qu'il expose, de les importer comme jeux de données, et pour certains connecteurs, de publier en retour vos propres jeux de données vers ce catalogue distant.

Chaque connecteur a ses propres champs de configuration, et parfois ses propres options d'import : ils sont décrits dans le cours dédié à chaque connecteur (SFTP, uData, CKAN, DCAT…). Ce cours-ci couvre la mécanique commune à tous les connecteurs : créer un connecteur, importer une ressource, planifier des mises à jour automatiques, et suivre un import.

Pour créer un connecteur, rendez-vous dans le service catalogues, puis cliquez sur Nouveau catalogue. Un assistant en deux étapes s'ouvre.

Sélection du type de catalogue : choisissez le connecteur souhaité en cliquant sur sa carte, parmi les connecteurs disponibles (Data Fair, WFS, uData, SharePoint, SFTP, OneGeoSuite, Huwise, Melodi, Grist, Google Cloud Storage, DCAT, CSW, CKAN, ArcGIS, Airtable…). Dans les captures de ce cours, nous prenons DCAT comme exemple.

Une étape « Sélection du propriétaire » peut s'intercaler entre le choix du type et l'écran Informations : elle apparaît lorsque votre compte peut créer le catalogue pour plusieurs entités — par exemple une organisation comportant des départements. Si un seul propriétaire est possible, cette étape n'apparaît pas et le catalogue est rattaché au compte actif.

Informations : renseignez un titre [1] (et éventuellement une description), puis les champs de Configuration propres au connecteur choisi — ici, le champ URL [2] pour un connecteur DCAT. ⚠️ Ces champs de configuration dépendent du connecteur choisi : reportez-vous au cours dédié à votre connecteur pour le détail de chacun.

Au clic sur Créer [3], la connexion au catalogue distant est testée immédiatement : si l'URL est invalide ou si les identifiants sont refusés, la création est bloquée avec le message « Invalid configuration: Connection test failed ».

Depuis la page du catalogue créé, cliquez sur Nouvel import pour lancer l'assistant d'import, en deux étapes.

Sélection d'une ressource : parcourez l'arborescence du catalogue distant — le fil d'Ariane [1] vous indique où vous vous trouvez et permet de remonter — ou recherchez une ressource par son nom. Cochez [2] la ressource à importer, puis cliquez sur Suivant [3].

Selon le connecteur, un catalogue distant s'explore sur un ou deux niveaux : certains exposent directement des fichiers, d'autres regroupent leurs ressources par jeu de données.

Configuration de l'import : au-delà des éventuelles options spécifiques au connecteur choisi — documentées dans son propre cours —, trois paramètres génériques sont proposés à tous les connecteurs :

• Jeu de données à mettre à jour (optionnel) [1] : par défaut, l'import crée un nouveau jeu de données ; en sélectionnant ici un jeu de données existant, l'import vient le mettre à jour au lieu d'en créer un nouveau ;
• Forcer la mise à jour des métadonnées [2] : force le rafraîchissement du titre, de la description, etc. même s'ils n'ont pas changé côté source ;
• Forcer la mise à jour du schéma [3] : force le rafraîchissement du schéma du jeu de données (colonnes, types…) même s'il n'a pas changé côté source.

Toujours sur l'écran Configuration de l'import, le switch Activer la planification [1] — actif par défaut — permet d'automatiser les imports suivants sans intervention manuelle : le catalogue relancera l'import selon la fréquence choisie, sans que vous ayez à revenir sur le service.

Cliquez sur Ajouter une règle de planification pour définir la fréquence. Une règle se compose de :

• la fréquence [2] — Mensuel, Hebdomadaire, Journalier ou Toutes les # heures ;
• les paramètres de cette fréquence [3], qui changent selon le choix précédent : jour dans le mois (ou Dernier jour du mois) et heure pour un rythme mensuel, jour de la semaine pour un rythme hebdomadaire, simple heure pour un rythme journalier, intervalle en heures pour le dernier ;
• le fuseau horaire [4], pré-rempli avec le vôtre.

Une fois la règle définie, cliquez sur Fermer pour la refermer : elle s'affiche alors sous forme de résumé lisible (par exemple « Tous les mois, à 03:30, le 1 du mois »). Vous pouvez ajouter plusieurs règles pour un même import, et pour chacune : l'éditer, la dupliquer, la réordonner (décaler vers le haut ou vers le bas) ou la supprimer, depuis le menu associé à la règle.

Une fois l'import lancé — manuellement ou déclenché automatiquement par une planification —, sa page affiche son statut [1] et un journal d'exécution qui détaille chaque étape (téléchargement de la ressource, création ou mise à jour du jeu de données…) avec son horodatage. La dernière ligne [2] confirme le jeu de données créé et son identifiant.

Depuis cette page, vous pouvez également :

• Voir le jeu de données importé [3], pour l'ouvrir directement dans Data Fair ;
• Voir la source des données, pour revenir à la ressource distante d'origine ;
• gérer les Notifications liées à cet import ;
• Re-importer pour relancer manuellement le même import ;
• Supprimer l'import pour retirer la configuration d'import — le jeu de données déjà importé n'est pas supprimé pour autant.

Certains connecteurs (comme uData ou CKAN) permettent, en plus de l'import, de publier vos propres jeux de données Data Fair vers le catalogue distant. Les actions disponibles et leurs libellés varient d'un connecteur à l'autre.

Cette mécanique de publication est détaillée, avec ses propres captures d'écran, dans les cours dédiés aux connecteurs uData et CKAN.

Si vous avez des remarques sur ce cours, n'hésitez pas à nous les communiquer.