Catalogues - Configurer un connecteur Google Cloud Storage

Dans ce tutoriel, nous allons découvrir comment configurer un connecteur Google Cloud pour importer des données dans Data Fair.

Dans ce cours, nous allons importer un jeu de données depuis un de nos sites. Pour ce faire, vous devrez :

1. Accedez à votre projet, créez un bucket sur Google Cloud et importez un fichier
2. Créez un compte service et donnez les droits au compte service
3. Configurez le connecteur sur Data Fair
4. Importez un fichier

Le connecteur Google Cloud Stocrage permet d'acceder aux fichiers d'un bucket d'un projet.

Vous pouvez créer un bucket sur cette page en selectionnant le projet qui vous interesse.

1. Selectionnez votre projet
2. Créer un bucket

1. Renseignez le nom de votre bucket
2. Finalisez votre bucket

Il est également possible de choisir la région de stockage de vos données lors de ce parcours.

Le nom nouveau-bucket-10 sera utilisé dans la section 3 de configuration du connecteur dans Data Fair.

Importez un fichier ou un dossier de votre ordinateur.

Celui-ci sera disponible après l'import :

Nous allons configurer un compte services pour avoir accès aux données du bucket.

Sur la page des Comptes de service selectionnez le projet dans lequel est présent votre bucket.

Sur la page de création du compte service :

1. Renseignez le nom du compte service
2. Cliquez sur Créer et continuer

Dans la section Selectionnez un rôle d'Autorisations recherchez et selectionnez l'autorisaions de Lecteur d'objets storage dans la section Cloud Storage.

Une fois les autorisations séléctionnées, finalisez votre compte de service à l'aide du bouton OK.

Votre compte de service pour le projet est alors créé, vous pouvez créer la clé d'accès JSON à l'aide des Actions sur la ligne correspondante.

Ajoutez Créez une clé ...

... et sauvegardez le fichier JSON qui est créé.

Nous possedons la clé au format JSON ainsi que le nom de notre bucket nouveau-bucket-10

Rendez vous sur la page de création des connecteurs sur Data Fair et créez votre connecteur.

Dans la configuration de votre connecteur

1. Renseignez le nom de votre connecteur
2. Renseignez le nom du bucket que vous avez créé
3. Collez la valeur de la clé que vous avez créé au format JSON { }
4. Cliquez sur Créer

Nous allons importez le fichier disponible dans notre bucket.

Sur la page de votre catalogue sur Data Fair, cliquez sur Créer un nouvel import

Vous êtes redirigé vers la liste des jeux de données disponibles sur votre bucket.

Sélectionnez le fichier que vous souhaitez importer.

Pour cette dernière étape, vous avez la possibilité de mettre à jour un jeu de données ou de planifier une mise à jour automatique.

Ces étapes ne seront pas abordées dans ce chapitre, vous pouvez donc cliquer sur le bouton Importer.

L'import se lance au moment de cliquer sur le bouton importer. L'import peut etre assez long si vous avez choisir un fichier de plusieurs Mo ou Go.

Une fois l'import términé, les étapes d'execution [1] sont disponibles sur la page. Les boutons pour acceder au jeu de données sur Data Fair [2].

Si vous avez des remarques sur ce cours, n'hésitez pas à nous les communiquer.