Sortir des ETL : Transition d’une solution « Code Less » à une approche « Code Full »

Le traitement des données est depuis longtemps le domaine des outils d’ETL, disposant d’un environnement graphique poussé et ne nécessitant pas ou peu de code.

De fait, ces approches fonctionnent mal avec les contraintes modernes de développement (Git flow, livraison incrémentale, …)

Au cours de cette conférence, nous reviendrons sur la migration de nos chaines de traitement d’un ETL classique (IBM Data Stage) vers une solution DBT / Snowflake :

• Pourquoi migrer ? Les limitations des outils « code less ».
• Comparaison des paradigmes ETL (Extract, Transform, Load) et ELT (Extract, Load, Transform).
• Avantages d’une approche « code full » pour les développeurs et les analystes.
• Amélioration du suivi et du support pendant le RUN en production : Monitoring, alertes, et résolution des incidents.
• Transition de « livrer les données vers les personnes concernées » à « rendre les données accessibles par les personnes concernées ».
• Retour d’expérience et bénéfices observés après la migration.