Design a simple ETL pipeline
Design a complete ETL pipeline with error handling, monitoring, and Python code for multi-source data integration.
Paste in your AI
Paste this prompt in ChatGPT, Claude or Gemini and customize the variables in brackets.
Je dois construire un pipeline ETL pour [OBJECTIF] qui extrait des données de [SOURCES] vers [DESTINATION] (ex : Data Warehouse, base SQL, Google BigQuery, fichiers Parquet).
Sources de données :
- [SOURCE_1] : [DESCRIPTION] (ex : API REST, CSV quotidien, base MySQL)
- [SOURCE_2] : [DESCRIPTION] (ex : Google Sheets, Salesforce SFTP)
- [SOURCE_3] : [DESCRIPTION] si applicable
Transformations nécessaires :
- [TRANSFORMATION_1] (ex : dédoublonnage, jointures, agrégations)
- [TRANSFORMATION_2] (ex : standardisation formats, calcul de métriques dérivées)
Contraintes : [CONTRAINTES] (ex : traitement de [VOLUME] lignes/jour, latence max [LATENCE], conformité RGPD)
Conçois le pipeline ETL avec :
- L'architecture globale du pipeline avec schéma de flux de données
- La stratégie d'extraction : full load vs incremental avec gestion des deltas
- Les transformations avec règles de qualité et validation des données
- La gestion des erreurs, alertes et reprise sur panne
- Le monitoring : métriques clés à surveiller (latence, volume, taux d'erreur)
- Le code Python complet avec pandas/SQLAlchemy ou dbt si applicable
- La documentation technique et le calendrier d'exécution (cron)
Stack préférée : [STACK_TECH]
Personalize this prompt with Léa
Answer 3 questions and Léa tailors the prompt to your situation.
Why this prompt works
<p>This prompt is effective because it addresses all dimensions of a professional ETL: architecture, data quality, resilience, and monitoring, producing a production-ready solution.</p>
Use Cases
Expected Output
ETL architecture, complete Python code, quality rules, error handling, monitoring, and technical documentation.
Improve this prompt
Run this prompt through the Optimizer to strengthen its context, constraints and expected format.
Improve this prompt with the OptimizerComments
- LéaAI
Pour fiabiliser ton pipeline, pense à intégrer une **colonne `_validé`** après chaque transformation : un booléen qui invalide les lignes ne passant pas tes règles qualité (ex : nulls, hors plage). Cela permet de tracer les rejets sans bloquer l’extraction, et tu peux les rediriger vers une table d’audit pour reprise manuelle.
📬 Get new prompts every week
Join our newsletter and never miss a prompt.