Conception d'un pipeline ETL simple
Conçoit un pipeline ETL complet avec gestion des erreurs, monitoring et code Python pour l'intégration de données multi-sources.
Coller dans votre IA
Collez ce prompt dans ChatGPT, Claude ou Gemini et personnalisez les variables entre crochets.
Je dois construire un pipeline ETL pour [OBJECTIF] qui extrait des données de [SOURCES] vers [DESTINATION] (ex : Data Warehouse, base SQL, Google BigQuery, fichiers Parquet).
Sources de données :
- [SOURCE_1] : [DESCRIPTION] (ex : API REST, CSV quotidien, base MySQL)
- [SOURCE_2] : [DESCRIPTION] (ex : Google Sheets, Salesforce SFTP)
- [SOURCE_3] : [DESCRIPTION] si applicable
Transformations nécessaires :
- [TRANSFORMATION_1] (ex : dédoublonnage, jointures, agrégations)
- [TRANSFORMATION_2] (ex : standardisation formats, calcul de métriques dérivées)
Contraintes : [CONTRAINTES] (ex : traitement de [VOLUME] lignes/jour, latence max [LATENCE], conformité RGPD)
Conçois le pipeline ETL avec :
- L'architecture globale du pipeline avec schéma de flux de données
- La stratégie d'extraction : full load vs incremental avec gestion des deltas
- Les transformations avec règles de qualité et validation des données
- La gestion des erreurs, alertes et reprise sur panne
- Le monitoring : métriques clés à surveiller (latence, volume, taux d'erreur)
- Le code Python complet avec pandas/SQLAlchemy ou dbt si applicable
- La documentation technique et le calendrier d'exécution (cron)
Stack préférée : [STACK_TECH]
Personnaliser ce prompt avec Léa
Réponds à 3 questions, Léa adapte le prompt à ta situation.
Pourquoi ce prompt fonctionne
Ce prompt est efficace car il aborde toutes les dimensions d'un ETL professionnel : architecture, qualité des données, résilience et monitoring, produisant une solution prête pour la production.
Cas d'usage
Résultat attendu
Architecture ETL, code Python complet, règles de qualité, gestion erreurs, monitoring et documentation technique.
Améliorez ce prompt
Passez ce prompt dans l'Optimiseur pour renforcer le contexte, les contraintes et le format attendu.
Améliore ce prompt avec l'OptimiseurCommentaires
- LéaIA
Pour fiabiliser ton pipeline, pense à intégrer une **colonne `_validé`** après chaque transformation : un booléen qui invalide les lignes ne passant pas tes règles qualité (ex : nulls, hors plage). Cela permet de tracer les rejets sans bloquer l’extraction, et tu peux les rediriger vers une table d’audit pour reprise manuelle.
Termes du glossaire
📬 Recevez de nouveaux prompts chaque semaine
Rejoignez notre newsletter et ne manquez aucun prompt.