Configurer un connecteur Google Cloud Storage

Le connecteur Google Cloud Storage permet d’importer des fichiers depuis un bucket Google Cloud Storage. Dans ce cours, nous allons voir comment créer un bucket et un compte de service côté Google Cloud, puis configurer le connecteur avec les informations obtenues.

💡 Ce cours ne décrit que ce qui est propre à ce connecteur. Pour la mécanique commune à tous les connecteurs — créer un connecteur, importer une ressource, planifier des mises à jour automatiques, suivre un import — consultez le cours Créer et gérer un connecteur de catalogue.

1. Prérequis

Avant de configurer le connecteur, vous devez créer un bucket Google Cloud Storage et y déposer un fichier, puis créer un compte de service disposant des droits de lecture sur ce bucket. Ces opérations se déroulent entièrement dans la console Google Cloud.

Créer un bucket et y charger un fichier

Rendez-vous sur la page des buckets Google Cloud Storage, sélectionnez votre projet [1], puis cliquez sur Créer un bucket [2].

Page des buckets
Sélectionnez votre projet puis créez un bucket

Renseignez un nom pour votre bucket [1] (par exemple nouveau-bucket-10 : vous réutiliserez ce nom dans la configuration du connecteur), puis validez sa création avec le bouton Créer [2]. Ce parcours permet également de choisir la région de stockage de vos données.

Caractéristiques du bucket
Formulaire de création du bucket

Une fois le bucket créé, importez-y un fichier ou un dossier depuis le menu Importer puis Importer des fichiers.

Chargement de données
Importez un fichier dans votre bucket

Le fichier est désormais disponible dans le bucket ; il pourra être importé par le connecteur une fois celui-ci configuré.

Fichier importé
Le fichier est disponible dans le bucket

Créer un compte de service et lui donner les droits

Le connecteur accède au bucket au nom d’un compte de service, une identité technique Google Cloud dédiée aux accès automatisés. Rendez-vous sur la page des comptes de service et sélectionnez le projet dans lequel se trouve votre bucket [1].

Sélection du projet
Sélectionnez le projet de votre bucket

Sur la page de création du compte de service, renseignez un nom [1], puis cliquez sur Créer et continuer [2].

Création d’un compte de service
Créez votre compte de service

Dans l’étape Autorisations, ouvrez le menu Rôle, puis recherchez et sélectionnez le rôle Lecteur d’objets Storage dans la catégorie Cloud Storage : il permet au compte de service de lire les objets du bucket.

Attribution du rôle
Donnez au compte de service le rôle Lecteur d’objets Storage

Finalisez la création du compte de service avec le bouton OK. Il apparaît alors dans la liste des comptes de service du projet ; ouvrez son menu Actions et sélectionnez Gérer les clés pour générer la clé d’accès.

Gestion des clés
Gérez les clés du compte de service

Générer la clé JSON

Depuis l’onglet Clés, cliquez sur Ajouter une clé puis Créer une clé.

Création d’une clé
Créez une clé JSON

Choisissez le format JSON (recommandé), puis validez avec Créer. Le fichier de clé est téléchargé automatiquement : conservez-le en lieu sûr, il ne pourra pas être régénéré.

Format de la clé
Choisissez le format JSON de la clé

Vous disposez maintenant des deux informations nécessaires à la configuration du connecteur : le nom du bucket et le contenu du fichier de clé JSON du compte de service.

2. Configuration du connecteur

Dans le formulaire de création du connecteur, renseignez les deux champs suivants :

  1. Nom du bucket [2] : le nom du bucket Google Cloud Storage ;
  2. Compte de service [3] : le contenu du fichier de clé JSON généré à l’étape précédente, à coller intégralement (au format { "type": "service_account", ... }).

Dans l’interface, le champ Compte de service est un champ mot de passe : sa valeur est masquée à la saisie.

Configuration du connecteur Google Cloud Storage
Les champs de configuration du connecteur Google Cloud Storage

À la création, la connexion au bucket est testée avec les identifiants fournis : si le compte de service est invalide, ou s’il ne dispose pas des autorisations nécessaires sur le bucket, la création est bloquée.

L’import des fichiers depuis Google Cloud Storage suit ensuite la mécanique commune à tous les connecteurs de catalogues distants : parcours des ressources disponibles, sélection, puis import. Retrouvez cette mécanique détaillée dans les autres cours de la liste, par exemple celui du connecteur SFTP.

Si vous avez des remarques sur ce cours, n’hésitez pas à nous les communiquer.