Configurer un traitement Transfert de fichier

💡 Ce cours ne décrit que ce qui est propre à ce plugin. Pour la mécanique commune à tous les traitements — créer un traitement, choisir l'action, planifier, suivre les exécutions, gérer les permissions et les notifications — consultez le cours Programmer des mises à jour automatiques de données.

Le traitement a besoin de l'adresse de téléchargement direct du fichier, pas de celle de la page qui le présente. Sur data.gouv.fr, la ressource est décrite par son nom, son format et son poids [1] ; l'adresse à copier est celle du bouton Télécharger [2] — clic droit, Copier l'adresse du lien — ou celle du bouton de copie affiché à côté du nom du fichier.

Une bonne adresse est stable : elle doit continuer à pointer vers la dernière version du fichier après chaque mise à jour de la source, sans quoi le traitement rechargera indéfiniment la même version. Le lien permanent d'une ressource data.gouv.fr joue ce rôle ; méfiez-vous en revanche des adresses qui contiennent une date ou un numéro de version, elles se périment.

Si le fichier est public — c'est le cas ici — l'adresse suffit. S'il est déposé sur un espace protégé, demandez à son gestionnaire un identifiant et un mot de passe : le compte d'un serveur FTP ou SFTP, ou les identifiants d'une authentification HTTP basique. Le traitement ne sait pas se connecter autrement : ni formulaire de connexion, ni jeton dans un en-tête.

Les champs propres au plugin sont regroupés dans l'onglet Paramètres. Le premier onglet, Jeu de données, ainsi que la planification, l'exécution et les permissions, sont communs à tous les traitements : ils sont décrits dans le cours Programmer des mises à jour automatiques de données.

L'URL source [1] est le seul champ obligatoire. Écrivez l'adresse complète, protocole compris : le plugin accepte http://, https://, ftp:// et sftp://, et c'est ce préfixe qui lui indique comment se connecter.

Utilisateur [2] et Mot de passe [3] ne servent qu'aux sources protégées : laissez-les vides pour une source publique comme celle de ce cours. Ils valent pour les trois familles de protocoles — compte du serveur en FTP et SFTP, authentification basique en HTTP(S). Le mot de passe est saisi masqué et n'est jamais réaffiché.

Les trois champs suivants sont facultatifs et conviennent le plus souvent laissés vides. Ce sont les réglages à sortir quand l'import se passe mal.

Nom du fichier [4]. Par défaut, le nom est déduit du serveur FTP/SFTP ou de l'URL. Renseignez-le quand l'adresse ne se termine pas par un nom de fichier — une URL d'API ou de redirection, par exemple : c'est l'extension de ce nom qui indique à la plateforme comment lire le contenu. C'est le remède à l'erreur 400 - ... type is not supported. Le nom choisi sera aussi celui proposé au téléchargement du fichier source depuis le jeu de données.

Encodage du fichier [5]. Laissé vide, l'encodage est détecté automatiquement. Forcez-le quand les accents ressortent en caractères parasites dans le jeu produit (é au lieu de é) : indiquez alors l'encodage réel du fichier, souvent windows-1252 ou ISO-8859-1 pour un export bureautique ancien, UTF-8 sinon.

Ignorer les N premières lignes [6]. Certains fichiers commencent par un bandeau de titre ou de commentaires avant la ligne d'en-têtes. Sans ce réglage, la plateforme prend la première ligne de ce bandeau pour les noms de colonnes et tout le jeu de données part de travers. Indiquez le nombre de lignes à sauter pour que la lecture démarre sur la vraie ligne d'en-têtes.

Le traitement télécharge le fichier et le charge tel quel : le jeu de données produit contient 35 008 enregistrements [1] et reprend les 7 colonnes de l'en-tête du CSV [3], sans renommage ni sélection. Le fichier d'origine est conservé sous son nom [2] et reste téléchargeable depuis le jeu de données.

À chaque exécution suivante, le fichier est re-téléchargé à la même adresse et remplace intégralement le contenu du jeu de données.

💡 Ce plugin importe un fichier à la fois. Pour récupérer plusieurs fichiers d'un même serveur, ne chaînez pas un traitement par fichier : le connecteur de catalogue SFTP parcourt l'arborescence du serveur et vous laisse importer les ressources voulues depuis une seule configuration. Voir Configurer un connecteur SFTP.

Si vous avez des remarques sur ce cours, n'hésitez pas à nous les communiquer.