Thomas BrochardDéveloppement · Data · IA
Échangeons
Retour aux projets

Ingénierie des données

Étude de cas / 03

Weather ELT Pipeline

Une granularité cohérente entre les sources.

Unifier des sources météo hétérogènes en observations analytiques traçables, avec des transformations SQL structurées et des règles de qualité explicites.

Technologies et concepts

  • PostgreSQL
  • dbt
  • SQL
  • Docker
  • Conception de l’ingestion Airbyte

Démonstration technique / sources sélectionnées

Dépôt privé

01 / Le contexte

Le problème à l’origine de la conception.

Les sources météo utilisent des identifiants de station et des structures de champs différents. Pour comparer les observations, le modèle analytique doit définir une granularité stable, conserver leur provenance et préciser les exigences de qualité.

02 / Choix techniques

Des choix rendus explicites.

Définir la granularité des observations

Une observation est identifiée par la station, l’horodatage et le système source. Une clé déterministe préserve cette distinction, sans fusionner implicitement les sources.

Rendre les transformations vérifiables

Des couches distinctes de données brutes, de préparation, de transformation intermédiaire et de tables analytiques normalisent deux contrats source et relient les observations aux métadonnées des stations.

Associer les règles de qualité au modèle

Des contrôles d’unicité, de valeurs non nulles, de relations, de valeurs autorisées, de plages et de dates expriment les conditions nécessaires à l’analyse. Les doublons sont détectés plutôt que supprimés implicitement.

03 / Vue du système

Suivre le cheminement.

Conception du pipeline ELT météo : les observations brutes traversent les contrats de préparation et l’unification, puis alimentent une dimension stations et une table de faits d’observation.

Architecture illustrative issue de la présentation du projet. Elle décrit la conception sélectionnée ; elle ne constitue ni un service déployé ni un résultat opérationnel mesuré.

Afficher le schéma en grand
  1. Observations brutes

  2. Contrats de préparation

  3. Données unifiées

  4. Dimension stations

  5. Faits d’observation

04 / Sources présentées

Ce que contient le dépôt.

  • dbt/models/staging/
  • dbt/models/intermediate/
  • dbt/models/marts/
  • dbt/macros/generic_tests/
  • dbt/tests/
  • docs/model-design.md
  • docs/data-quality.md

05 / Périmètre et limites

Comment lire ce projet.

Démonstration et présentation du code utilisant des métadonnées de stations synthétiques et des observations générées. Aucune ingestion en direct, aucun déploiement, résultat d’exécution, débit ou taux de réussite des tests n’est revendiqué. Airbyte représente le point d’entrée de l’ingestion ; les connexions et la planification opérationnelle demandent une configuration distincte. Le contrôle des six stations est propre au jeu de démonstration, et les contrôles temporels dépendent de l’instantané des données.

Explorer les sources avec un accès.

Le dépôt GitHub est privé. Son lien fonctionne pour les collaborateurs autorisés ; les autres visiteurs peuvent me contacter pour discuter du projet.

Étude de cas suivante / 04

CSV to MongoDB Migration

Ingénierie des données

Explorer la collection

La prochaine conversation

Parlons de votre projet.

↗
Un besoin, une idée, une question technique.
LinkedIn ↗GitHub ↗