P
📊Analyse de donnéesAdvancedAll AIs

Design of a simple ETL pipeline

Design a complete ETL pipeline with error handling, monitoring and Python code for multi-source data integration.

Paste in your AI

Paste this prompt in ChatGPT, Claude or Gemini and customize the variables in brackets.

Je dois construire un pipeline ETL pour [OBJECTIF] qui extrait des données de [SOURCES] vers [DESTINATION] (ex : Data Warehouse, base SQL, Google BigQuery, fichiers Parquet).

Sources de données :
- [SOURCE_1] : [DESCRIPTION] (ex : API REST, CSV quotidien, base MySQL)
- [SOURCE_2] : [DESCRIPTION] (ex : Google Sheets, Salesforce SFTP)
- [SOURCE_3] : [DESCRIPTION] si applicable

Transformations nécessaires :
- [TRANSFORMATION_1] (ex : dédoublonnage, jointures, agrégations)
- [TRANSFORMATION_2] (ex : standardisation formats, calcul de métriques dérivées)

Contraintes : [CONTRAINTES] (ex : traitement de [VOLUME] lignes/jour, latence max [LATENCE], conformité RGPD)

Conçois le pipeline ETL avec :
1. L'architecture globale du pipeline avec schéma de flux de données
2. La stratégie d'extraction : full load vs incremental avec gestion des deltas
3. Les transformations avec règles de qualité et validation des données
4. La gestion des erreurs, alertes et reprise sur panne
5. Le monitoring : métriques clés à surveiller (latence, volume, taux d'erreur)
6. Le code Python complet avec pandas/SQLAlchemy ou dbt si applicable
7. La documentation technique et le calendrier d'exécution (cron)

Stack préférée : [STACK_TECH]

Why this prompt works

This prompt is effective because it addresses all dimensions of a professional ETL: architecture, data quality, resilience and monitoring, producing a production-ready solution.

Use Cases

CRM to Data Warehouse IntegrationMulti-system Data ConsolidationReal-time Dashboard Feed

Expected Output

ETL architecture, complete Python code, quality rules, error handling, monitoring and technical documentation.

Learn more

Check the full skill on Prompt Guide to master this technique from A to Z.

View on Prompt Guide

Glossary Terms

Chain-of-thoughtFew-shot promptingPrompt injectionContextTop-p (nucleus sampling)GPTPrompt leakingHallucination

Similar Prompts

📊Analyse de donnéesAdvancedAll AIs

Anomaly detection in data

Detect anomalies and outliers in a dataset using multiple statistical methods and severity scoring.

04
📊Analyse de donnéesAdvancedAll AIs

Sales forecasting prediction

Build a sales forecasting model with comparison of methods, scenarios and confidence intervals.

04
📊Analyse de donnéesIntermediateAll AIs

Stock and inventory data analysis

Complete inventory data analysis with ABC/XYZ classification, threshold calculation and working capital optimization.

04
📊Analyse de donnéesIntermediateAll AIs

Survey and questionnaire analysis

Complete analysis of survey results with statistics, segmentation, verbatim analysis and summary report.

04