Upload
nassim-bahri
View
4.209
Download
8
Embed Size (px)
DESCRIPTION
Ce document présente une simple documentation pour les développeurs souhaitant débuter avec l'ETL Talend (Extract Transfom Load)
Citation preview
Guide Talend Open Studio
1
Guide Talend Open Studio
Dans le présent guide nous détaillons les étapes de création d’un datamart ; le logiciel utilisé est Talend open studio qui offre une gamme de fonctionnalités facilitent cette tâche. La création d’un datamart passe par trois étapes primordiales:
� La création des métas sdonnés,
� La création du job designer
� Le mapping entre la base source (input) et la base cible (output).
En ce qui suit, une description détaillée du processus de création du méta data, la création des jobs et le mapping entre les deux bases source et cible.
I. Créer/importer un projet
Dans Talend Open Studio, le “projet” correspond au nœud racine stockant les différents types de Jobs, Business model, métas données, …etc.
A partir de la fenêtre principale nous pouvons soit créer un nouveau projet soit importer un projet existant.
1- Créer un projet
Figure 1: Ecran principale de Talend Studio
Pour afficher cet écran il suffit de lancer Talend Open Studio. Lorsqu’on se connecte pour la première fois aucun projet n’apparaît dans la liste, nous devons donc créer un. Dans la liste
Guide Talend Open Studio
2
Select de la zone Project de la fenêtre login du Studio, on clique sur le bouton créer. Une boite de dialogue apparaît en nous demandant de spécifier le nom du projet
Figure 2: Créer un nouveau projet Talend
Il suffit donc de remplir le champ « Nom du projet » et cliquer sur le bouton « Termier » afin de créer notre projet. Une fois créé il suffit de le lancer.
Figure 3 : Ouvrir un projet
Guide Talend Open Studio
3
Une fois que le projet est ouvert on obtient l’écran suivant
Figure 4: Ecran d'accueil Talend Open Studio
Figure 5: Référentiel Talend Open Studio
Notre projet est maintenant ouvert on commence donc la création des métas données.
Le référentiel
Palette
Guide Talend Open Studio
4
2- Création des métas donnés
Dans Talend Open Studio, les métas donnés permettent de définir, de décrire ou de documenter les données traitées par le logiciel.
Dans le dossier méta données du référentiel de Talend nous pouvons stoker les informations de connexion aux fichiers (fichier délimité, fichier XML,..) et les connexions vers les bases de données (Oracle, MySQL,…).
Nous allons commencer dans un premier lieu par la création de la connexion à la base de données source
2.1- Créer la connexion vers la base de données source
Figure 6: Créer une connexion vers la base de données source
Avec un simple clic droit sur le menu data, une liste d’option est affichée, on sélectionne donc l’option « créer une connexion »
Guide Talend Open Studio
5
Figure 7: Spécifier le nom de la connexion
Une boite de dialogue est alors affichée en nous demandant de taper le nom de la connexion. Il suffit juste de donner un nom quelconque à cette connexion (de préférence un nom significatif)
Guide Talend Open Studio
6
Figure 8: Choisir un SGBD
A ce stade nous devons sélectionnez le type de base de données à laquelle nous souhaitons nous connecter.
Figure 9: Préciser les identifiants de connexions
Guide Talend Open Studio
7
Nous devons renseigner les informations requises pour la connexion et vérifier notre connexion à l’aide de la fonction « Vérifier ».
Figure 10: Tester la connexion
La connexion à notre base de données est maintenant créée et accessible depuis le Référentiel qui contient quatre sous-dossiers :
- le sous dossier Requêtes pour les requêtes SQL,
- le sous dossier Schémas des tables qui regroupe tous les schémas des tables relatifs à cette connexion.
- Le sous dossier Schémas des vues qui regroupe l’ensemble des vues de la connexion
- Le sous dossier Schémas de synonymes qui regroupe l’ensemble des synonymes présent au niveau de la connexion
Guide Talend Open Studio
8
Figure 11: Source de données
Figure 12: Récupérer le schéma de la base de données
Guide Talend Open Studio
9
A présent un simple clic avec le bouton droit de la souris sur la connexion précédemment créé et on sélectionne « Récupérer le schéma » dans le menu contextuel permet de récupérer la listes des objets de notre base (tables, vues, index,..)
Figure 13: Préciser les types d'objet à récupérer
Dans la zone texte « Name Filter » nous pouvons filtrer les objets de notre base de données
Figure 14: Sélectionner les tables utiles pour notre datamart
Pour sélectionner les objets dont nous avons besoin pour la création de notre datamart il suffit de cocher les objets dans la liste présente dans l’interface précédente.
Guide Talend Open Studio
10
Figure 15: Ajouter/modifier les contraintes ou les types de données
Modifiez les schémas (contrainte d’intégrité, type des champs,…) si nécessaire, puis cliquez sur le bouton « Terminer » pour fermer l’assistant.
Figure 16: Schéma de notre base de données source
Guide Talend Open Studio
11
2.2- Créer connexion à la base de données cible
Même principe que la création de la connexion à la base de données source déjà présenté précédemment.
Figure 17: Schéma de la base de données cible
3- Créer le job designer
Le job designer est un composant essentiel de Talend Open Studio, il permet de faire la correspondance et la transformation entre la base de données source (base transactionnelle) et la base de données cible (datamart). En d’autre terme il permet la mise en place des flux de données d’une manière graphique et c’est Talend qui sera chargé de générer le code de transformation (mapping).
Guide Talend Open Studio
12
Figure 18: Créer un job designer
Pour créer un job designer il suffit de cliquer avec le bouton droit sur Jobs dans le référentiel de Talend et de choisir Créer un job
Guide Talend Open Studio
13
Figure 19: Assistant de création
Un assistant nous guide dans les étapes de définition des propriétés de notre nouveau Job.
Guide Talend Open Studio
14
Figure 20: Ouvrir le job designer
Figure 21: Préparer les données
Guide Talend Open Studio
15
Figure 22: Déposer la table catégorie
Pour commencer, il suffit de cliquer sur la table et avec un simple « drag and drop », ajouter cette dernière dans l’espace de modélisation du Job design.
Figure 23: Choisir le type du composant (table catégorie)
Guide Talend Open Studio
16
Figure 24: Déposer la table marque
Figure 25: Choisir le type du composant (table marque)
Guide Talend Open Studio
17
Figure 26: Déposer la table produit
Figure 27: Choisir le type du composant (table produit)
Guide Talend Open Studio
18
Figure 28: Tables source (input)
Figure 29: Préparer les tables cibles
Guide Talend Open Studio
19
s
Figure 30: Déposer la table produit (output)
Figure 31: Choisir le type du composant (table produit output)
Guide Talend Open Studio
20
Figure 32: Données sources vs données cible
4- Faire la mapping
Pour faire le mapping (transformation) des données rien de complexe ; En effet TMAP, un composant de Talend, nous permet de gérer les flux de données d’une manière aisée.
Ce composant permet de faire la liaison entre les données sources et les données cibles et il est capable de faire toutes les transformations
Figure 33: TMAP Talend Open Studio
Guide Talend Open Studio
21
Figure 34: Déposer le composant TMAP dans l’espace de modélisation
De la même manière que les métas donnés un simple « drag and drop » permet de déposer le composant TMAP dans notre espace de modélisation. La création des liaisons entre le TMAP et les différentes sources de données se fait par clic droit sur notre source de données (table) et suivit par le choix de l’option main dans le menu ligne.
Figure 35: Liaison entre la table catégorie et TMAP
Guide Talend Open Studio
22
Figure 36: Liaison établi entre la table catégorie et TMAP
Figure 37: Créer liaison entre la table marque et TMAP
Guide Talend Open Studio
23
Figure 38: Liaison établi entre la table marque et TMAP
Figure 39: Créer liaison entre la table produit et TMAP
Guide Talend Open Studio
24
Figure 40: Liaison établi entre la table produit et TMAP
Figure 41: Créer liaison entre TMAP et la table produit
Guide Talend Open Studio
25
Figure 42: Liaison établi entre TMAP et la table produit
Figure 43: Choisir le nom de sortie
Guide Talend Open Studio
26
Figure 44: Récupérer le schéma du composant cible
Par un double clic sur le composant TMAP, une fenêtre offrant la possibilité d’assurer la liaison entre la base de données source et celle cible
Figure 45: Fenêtre de mapping
Guide Talend Open Studio
27
Figure 46: Migrer la clé primaire de la table catégorie vers la table produit
Guide Talend Open Studio
28
Figure 47: Migration de la clé établie
Figure 48: Migrer la clé primaire de la table marque vers la table produit
Guide Talend Open Studio
29
Figure 49: Migration de la clé établie
Figure 50: Faire le mapping entre les noms de colonnes des tables
Guide Talend Open Studio
30
Figure 51: Mapping entre les deux colonnes établies
Figure 52: Mapping entre la source et la cible établie
Figure 53: Base de données cible vide
Guide Talend Open Studio
31
Figure 54: Préparer l'exécution du job
Figure 55: Exécuter le job
Guide Talend Open Studio
32
Figure 56: Déboguer le job
Figure 57: Base de données cible remplie
II- Exporter un projet Talend
Guide Talend Open Studio
33
Figure 58: Exporter le projet
Figure 59: Choisir le filtre d'exportation
Guide Talend Open Studio
34
Figure 60: Choisir le projet à exporter