Design a simple ETL pipeline
Design a complete ETL pipeline with error handling, monitoring, and Python code for multi-source data integration.
Paste in your AI
Paste this prompt in ChatGPT, Claude or Gemini and customize the variables in brackets.
Je dois construire un pipeline ETL pour [OBJECTIF] qui extrait des données de [SOURCES] vers [DESTINATION] (ex : Data Warehouse, base SQL, Google BigQuery, fichiers Parquet). Sources de données : - [SOURCE_1] : [DESCRIPTION] (ex : API REST, CSV quotidien, base MySQL) - [SOURCE_2] : [DESCRIPTION] (ex : Google Sheets, Salesforce SFTP) - [SOURCE_3] : [DESCRIPTION] si applicable Transformations nécessaires : - [TRANSFORMATION_1] (ex : dédoublonnage, jointures, agrégations) - [TRANSFORMATION_2] (ex : standardisation formats, calcul de métriques dérivées) Contraintes : [CONTRAINTES] (ex : traitement de [VOLUME] lignes/jour, latence max [LATENCE], conformité RGPD) Conçois le pipeline ETL avec : 1. L'architecture globale du pipeline avec schéma de flux de données 2. La stratégie d'extraction : full load vs incremental avec gestion des deltas 3. Les transformations avec règles de qualité et validation des données 4. La gestion des erreurs, alertes et reprise sur panne 5. Le monitoring : métriques clés à surveiller (latence, volume, taux d'erreur) 6. Le code Python complet avec pandas/SQLAlchemy ou dbt si applicable 7. La documentation technique et le calendrier d'exécution (cron) Stack préférée : [STACK_TECH]
Why this prompt works
<p>This prompt is effective because it addresses all dimensions of a professional ETL: architecture, data quality, resilience, and monitoring, producing a production-ready solution.</p>
Use Cases
Expected Output
ETL architecture, complete Python code, quality rules, error handling, monitoring, and technical documentation.
Learn more
Check the full skill on Prompt Guide to master this technique from A to Z.
View on Prompt Guide📬 Get new prompts every week
Join our newsletter and never miss a prompt.
Similar Prompts
Cohort analysis and customer retention
Complete cohort analysis to measure and understand customer retention with aha moment identification.
Choose the right visualization for your data
Guide the choice of optimal chart type based on data, audience, and message to communicate.
Create a business KPI dashboard
Design a complete KPI dashboard tailored to a specific department, with layout, charts, and alerts.
Write SQL queries for sales analysis
Generate optimized SQL queries for comprehensive sales data analysis based on your specific tables and needs.