Le cahier des charges "Outils Extract-Transform-Load (ETL)" a été rédigé par des experts indépendants. Il constitue une excellente base pour la prise en main d’un projet ETL. Grâce aux 291 critères technologiques présentés, vous pourrez facilement bâtir votre cahier des charges et comparer les outils ETL disponibles sur le marché.
TÉLÉCHARGER CE CAHIER DES CHARGES
Sommaire du cahier des charges "Outils d'extraction de données - ETL"
1 – Le projet et l’existant : 85 critères
1.1. Nature du projet
1.2. Les choix technologiques de la structure
1.3. Les contraintes
1.4. L’architecture existante/future
1.4.1. Les serveurs
1.4.2. Les réseaux
1.4.3. Les bases relationnelles
1.4.4. Les bases multidimensionnelles
1.4.5. Les bases XML
1.4.6. Les bases non relationnelles
1.4.7. Les autres sources et destinations
1.4.8. Les progiciels standards
1.4.9. Les messages
1.4.10. Les tiers externes
1.4.11. Les volumes
1.4.12. L’équipe de développement
2 – Description de la solution ETL : 8 critères
3 – Architecture de la solution ETL : 31 critères
3.1. Description de l’architecture
3.2. Parallélisation des traitements
3.3. Nature du référentiel
3.4. Alimentation du référentiel
3.5. Gestion du référentiel
3.6. Accès au référentiel
4 – Accès aux données : 43 critères
4.1. Accès aux données relationnelles
4.1.1. Les modes d’accès
4.1.2. Données lues/écrites
4.2. Accès aux données non relationnelles
4.3. Accès aux données d’applicatifs standard/ERP
5 – Déclenchement des processus : 15 critères
5.1. Déclenchement par type de message
5.2. Déclenchement par type de Polling (scrutation)
5.3. Déclenchement par trigger bases de données
5.4. Le produit inclut-il un scheduler ?
5.5. Autres modes de déclenchement
6 – Traitement des données : 31 critères
6.1. Transfert de données
6.2. Transformation de données- agrégats- calculs
7 – Outil de développement des chaînes de traitement : 15 critères
8 – Développement avancé : 13 critères
9 – Déploiement et mise en production : 6 critères
10 – Administration : 24 critères
11 – Ordonnancement : 8 critères
12 – Sécurité : 11 critères
13 – Divers : 14 critères
TÉLÉCHARGER CE CAHIER DES CHARGES
Qu'est-ce qu'un ETL (extract-transform-load) ?
La notion d’ETL (Extract Transform Loading), recouvre à la fois des outils et des processus d’alimentation. Il s’agit d’un élément clé dans l’intégration d’applications, en particulier dans le monde de la Business Intelligence et du datawarehousing. Outils et processus ETL sont des briques d’une infrastructure de SI, dont la valeur ajoutée et le retour sur investissement s’expriment dans le temps en accompagnant l’évolution du système d’information global ou du système d’information décisionnel.
Les processus d’ETL (Extraction, Transformation et Chargement) gèrent toutes les étapes de collecte et de transfère des données dans les systèmes d’information hétérogènes :
- Extraction de données des applications et des bases de données de gestion et de production (ERP, CRM, SGBDR, fichiers, etc.).
- Transformation de ces données pour les consolider et les mettre en concordance.
- Chargement : distribution des données auprès des applications cibles ou des systèmes décisionnels (Data Warehouse, Data Marts, applications OLAP ou “cubes”…).
Le processus ETL est donc une opération de migration de données qui consiste aussi à augmenter la valeur ajoutée de l’information et à la rendre aisément consommable pour les systèmes de Business Intelligence.
Les processus ETL sont les composantes clés dans l’intégration d’applications, surtout la Business Intelligence, le support à la décision et le datawarehousing.
TÉLÉCHARGER CE CAHIER DES CHARGES
Introduction du cahier des charges "outils extract-transform-load (ETL)"
L’Intégration ou alimentation de données
Les outils ETL gèrent toutes les étapes de la collecte des données au sein des systèmes d’information hétérogènes : SGBD, ERP, applications spécifiques, fichiers plats, bases hiérarchiques… depuis le nettoyage des données collectées, la consolidation et la mise en concordance des données éparses jusqu’à leur distribution auprès des applications cibles ou des systèmes décisionnels (analyse, tableau de bord…).
Le processus ETL est une opération de migration de données qui consiste aussi à la rendre aisément consommable. Ce processus représente une part majeure des traitements et nécessite une attention régulière tout au long du cycle de vie du système, dans la mesure où il est garant de la qualité des données.
Un processus ETL se décompose en trois phases : l’extraction, la préparation/transformation et le chargement.
L’extraction des données
Il s’agit en premier lieu d’aller chercher les données là où elles se trouvent. L’outil ETL a la capacité de se connecter aux différentes applications, bases de données ou fichiers.
Pour cela, plusieurs technologies sont utilisables :
- Les passerelles fournies par les éditeurs de logiciels de gestion de bases de données.
- Les utilitaires de réplication, utilisables si les systèmes de production et décisionnels, sources et cibles, sont homogènes.
- Les outils spécifiques d’extraction. L’outil doit être à même de lire sélectivement les données sources, et donc de filtrer les données en lecture afin de n’extraire que l’information pertinente.
Le chargement et le transfert des données
Le chargement prend en compte la gestion du format final des données pour la mise en oeuvre du transfert de données, on distingue deux approches possibles :
- Le transfert de fichiers : l’ETL transporte les données du système source vers le système cible via un moteur.
- Le transfert de base à base. Dans ce cas, les outils travaillent en mode connecté, d’une source de données à une cible. Les données sont extraites ensemble à la source, puis transférées à la cible en y appliquant éventuellement des transformations à la volée. Un seul processus, plus rapide, a ainsi l’avantage de pouvoir effectuer, sans rupture, les transferts et toutes les autres opérations d’alimentation.
