Configurer un connecteur Udata (data.gouv.fr)

Dans ce cours, nous allons configurer un connecteur Udata et importer un jeu de données depuis un catalogue Udata distant.

Udata est la plateforme open source utilisée par data.gouv.fr et de nombreux portails open data français. Ce connecteur fonctionne en import et publication : il permet d'importer des jeux de données depuis un catalogue Udata et, si vous disposez d'une clé API, d'y publier vos propres jeux de données Data Fair.

💡 Ce cours ne décrit que ce qui est propre à ce connecteur. Pour la mécanique commune à tous les connecteurs — créer un connecteur, importer une ressource, planifier des mises à jour automatiques, suivre un import — consultez le cours Créer et gérer un connecteur de catalogue.

1. Prérequis

Pour importer des données, il suffit de connaître l'URL du catalogue Udata distant : la plupart des catalogues Udata publics sont interrogeables sans authentification.

Pour publier vos jeux de données vers ce catalogue, il vous faut en plus :

  • une clé API, à générer depuis votre profil utilisateur sur le catalogue Udata distant (par exemple https://www.data.gouv.fr/admin/me/profile pour data.gouv.fr) ;
  • le cas échéant, une organisation de ce catalogue dans laquelle vous disposez du droit d'écriture.

Dans ce cours, nous utilisons l'instance de démonstration demo.data.gouv.fr, en import et en publication.

2. Configuration du connecteur

Dans la configuration du connecteur, renseignez les champs suivants :

  1. l'URL du catalogue Udata distant. Elle doit commencer par http:// ou https:// et ne pas se terminer par / ;
  2. la Clé API, optionnelle : elle n'est nécessaire que pour publier des données ;
  3. l'Organisation de publication, optionnelle : laissez ce champ vide pour publier sur votre compte personnel, sinon choisissez une organisation dans laquelle vous avez le droit d'écriture.
Configuration du connecteur Udata
Les champs de configuration du connecteur Udata

La section Paramètres de publication [3] n'apparaît qu'une fois une clé API saisie. Sans clé API, le catalogue est utilisable en lecture seule : seul l'import est possible.

À la création, la connexion au catalogue distant est testée : si l'URL est invalide ou si la clé API est refusée, la création est bloquée.

3. Import des données

3.1 Sélection de la ressource

Un catalogue Udata s'explore sur deux niveaux : les jeux de données, puis les ressources que chacun contient.

Au premier niveau, vous pouvez :

  1. filtrer par Organisation du catalogue distant ;
  2. afficher ou non les jeux de données d'autres organisations — cette option n'est modifiable qu'avec une clé API ;
  3. rechercher un jeu de données par son nom ;
  4. ouvrir le jeu de données pour voir les ressources qu'il contient.
Sélection d’un jeu de données Udata
Filtrez, recherchez, puis ouvrez un jeu de données

Au second niveau, choisissez la ressource à importer :

  1. le fil d'Ariane rappelle le jeu de données ouvert et permet de revenir à la racine ;
  2. cochez la ressource voulue — la taille et le format vous aident à choisir ;
  3. cliquez sur Suivant.
Sélection d’une ressource
Cochez la ressource à importer parmi celles du jeu de données

3.2 Configuration de l’import

Deux options sont spécifiques au connecteur Udata :

  1. Utiliser le titre du jeu de données distant : le jeu importé reprend le titre du jeu de données Udata plutôt que celui de la ressource ;
  2. Utiliser la description du jeu de données distant : de même pour la description.

Ces deux options sont activées par défaut. Désactivez-les pour conserver le titre et la description propres à la ressource — utile lorsqu'un même jeu de données Udata contient plusieurs ressources distinctes.

Configuration de l’import Udata
Les deux options propres au connecteur Udata

Cliquez enfin sur Importer. Le journal d'exécution rend compte du déroulement de l'import et donne accès au jeu de données créé.

Import terminé
Le journal d’exécution confirme l’import et le jeu de données créé

4. Publication des données

Lorsque le connecteur est configuré avec une clé API, il permet également de publier vos jeux de données Data Fair vers le catalogue Udata. Quatre actions sont alors disponibles :

  • Créer un nouveau jeu de données : crée un nouveau jeu de données sur le catalogue Udata ;
  • Ajouter en tant que fichier : ajoute une ressource à un jeu de données Udata existant ;
  • Remplacer un jeu de données existant : met à jour un jeu de données Udata existant ;
  • Remplacer une ressource existante : met à jour une ressource déjà publiée.

Prérequis important : ce connecteur exige que le jeu de données soit d'abord publié sur un portail Data Fair. Tant que ce n'est pas le cas, l'action de publication reste indisponible et un message vous invite à publier le jeu de données sur un portail au préalable.

Choix de l’action de publication
Les quatre actions de publication disponibles pour Udata

À la publication, Data Fair renseigne le titre, la description, les mots-clés et la licence du jeu de données distant, et y ajoute des ressources pointant vers votre portail : Consultez les données et Description des champs, ainsi que le ou les fichiers téléchargeables et les pièces jointes du jeu de données. Si le jeu de données contient des données tabulaires ou géographiques, un service de données (API REST) est également créé et lié automatiquement sur le catalogue Udata.

Si une Organisation de publication a été renseignée dans la configuration, le jeu de données est créé dans cette organisation ; sinon il l'est sur le compte personnel associé à la clé API.

Publication terminée
Le journal d’exécution confirme la création du jeu de données et du service de données liés

Si vous avez des remarques sur ce cours, n'hésitez pas à nous les communiquer.