Conception d'un pipeline ETL simple
Conçoit un pipeline ETL complet avec gestion des erreurs, monitoring et code Python pour l'intégration de données multi-sources.
Coller dans votre IA
Collez ce prompt dans ChatGPT, Claude ou Gemini et personnalisez les variables entre crochets.
Je dois construire un pipeline ETL pour [OBJECTIF] qui extrait des données de [SOURCES] vers [DESTINATION] (ex : Data Warehouse, base SQL, Google BigQuery, fichiers Parquet). Sources de données : - [SOURCE_1] : [DESCRIPTION] (ex : API REST, CSV quotidien, base MySQL) - [SOURCE_2] : [DESCRIPTION] (ex : Google Sheets, Salesforce SFTP) - [SOURCE_3] : [DESCRIPTION] si applicable Transformations nécessaires : - [TRANSFORMATION_1] (ex : dédoublonnage, jointures, agrégations) - [TRANSFORMATION_2] (ex : standardisation formats, calcul de métriques dérivées) Contraintes : [CONTRAINTES] (ex : traitement de [VOLUME] lignes/jour, latence max [LATENCE], conformité RGPD) Conçois le pipeline ETL avec : 1. L'architecture globale du pipeline avec schéma de flux de données 2. La stratégie d'extraction : full load vs incremental avec gestion des deltas 3. Les transformations avec règles de qualité et validation des données 4. La gestion des erreurs, alertes et reprise sur panne 5. Le monitoring : métriques clés à surveiller (latence, volume, taux d'erreur) 6. Le code Python complet avec pandas/SQLAlchemy ou dbt si applicable 7. La documentation technique et le calendrier d'exécution (cron) Stack préférée : [STACK_TECH]
Pourquoi ce prompt fonctionne
Ce prompt est efficace car il aborde toutes les dimensions d'un ETL professionnel : architecture, qualité des données, résilience et monitoring, produisant une solution prête pour la production.
Cas d'usage
Résultat attendu
Architecture ETL, code Python complet, règles de qualité, gestion erreurs, monitoring et documentation technique.
Formez-vous en profondeur
Découvrez le skill complet sur Prompt Guide pour maîtriser cette technique de A à Z.
Voir sur Prompt GuideTermes du glossaire
Prompts similaires
Détection d'anomalies dans les données
Détecte les anomalies et valeurs aberrantes dans un dataset avec plusieurs méthodes statistiques et scoring de sévérité.
Prévision des ventes par forecasting
Construit un modèle de forecasting des ventes avec comparaison de méthodes, scénarios et intervalles de confiance.
Analyse des données de stocks et d'inventaire
Analyse complète des données d'inventaire avec classification ABC/XYZ, calcul des seuils et optimisation du BFR.
Analyse d'une enquête et d'un questionnaire
Analyse complète des résultats d'une enquête avec statistiques, segmentation, analyse verbatim et rapport de synthèse.