Design a simple ETL pipeline

Je dois construire un pipeline ETL pour [OBJECTIF] qui extrait des données de [SOURCES] vers [DESTINATION] (ex : Data Warehouse, base SQL, Google BigQuery, fichiers Parquet).

Sources de données :

• [SOURCE_1] : [DESCRIPTION] (ex : API REST, CSV quotidien, base MySQL)
• [SOURCE_2] : [DESCRIPTION] (ex : Google Sheets, Salesforce SFTP)
• [SOURCE_3] : [DESCRIPTION] si applicable

Transformations nécessaires :

• [TRANSFORMATION_1] (ex : dédoublonnage, jointures, agrégations)
• [TRANSFORMATION_2] (ex : standardisation formats, calcul de métriques dérivées)

Contraintes : [CONTRAINTES] (ex : traitement de [VOLUME] lignes/jour, latence max [LATENCE], conformité RGPD)

Conçois le pipeline ETL avec :

1. L'architecture globale du pipeline avec schéma de flux de données
2. La stratégie d'extraction : full load vs incremental avec gestion des deltas
3. Les transformations avec règles de qualité et validation des données
4. La gestion des erreurs, alertes et reprise sur panne
5. Le monitoring : métriques clés à surveiller (latence, volume, taux d'erreur)
6. Le code Python complet avec pandas/SQLAlchemy ou dbt si applicable
7. La documentation technique et le calendrier d'exécution (cron)

Stack préférée : [STACK_TECH]