Aller au contenu
EngineerLogiciels
Menu
Design
Français

Engineer / Logiciels / Portfolio

6 pipelines ETL/ELT conçus et exploités

Conçu, mis en œuvre et administré 6 pipelines ETL/ELT avec Google BigQuery, MSSQL, PostgreSQL, des scripts Shell, PL/pgSQL et Transact‑SQL, en intégrant les données pour leur traitement efficace par une API Python.

Situation. L’organisation devait réunir et traiter de grandes quantités de données tabulaires provenant d’un entrepôt distant accessible derrière un VPN IPsec. Ces données étaient essentielles aux tableaux de bord analytiques internes et aux API Python externes utilisées par les clients et partenaires.

Tâche. L’objectif était de concevoir, mettre en œuvre et maintenir des pipelines ETL/ELT solides et automatisés pour récupérer, transformer et charger les données dans Google BigQuery en sécurité, avec une exigence de précision, de performances et de montée en charge entre systèmes.

Action. 6 pipelines ETL/ELT de bout en bout ont été conçus, mis en œuvre et administrés avec Google BigQuery, MSSQL, PostgreSQL, des scripts Shell, PL/pgSQL et Transact‑SQL.

  • Des connexions sécurisées à un serveur distant protégé par VPN IPsec ont été établies pour automatiser la récupération des données.
  • Les téléchargements d’archives compressées contenant des fichiers Parquet, CSV et .bak ont été planifiés et exécutés.
  • Des scripts Bash et Python ont été développés pour extraire et classer les fichiers selon leur type et leur schéma.
  • Les sauvegardes .bak ont été restaurées dans une instance MSSQL Server locale avec RESTORE DATABASE, puis l’intégrité du schéma a été validée.
  • Les données tabulaires ont été chargées dans des schémas de préparation MSSQL et PostgreSQL avec bcp, psql et SSIS, selon le format source.
  • Des procédures PL/pgSQL et T‑SQL modulaires et réutilisables ont été écrites pour nettoyer, normaliser et enrichir les données selon la logique métier.
  • Les jeux et tables préparés ont été exportés dans des formats intermédiaires, compressés avec gzip et transférés de façon sécurisée vers un bucket Google Cloud Storage.
  • Les transferts vers Google BigQuery et la correspondance des schémas ont été automatisés avec bq CLI et des scripts d’ingestion Python.

Résultat. Ces pipelines ont fortement réduit le travail manuel et la durée des traitements : 3 heures ou plus de travail manuel sont devenues moins de 20 minutes de bout en bout, tandis que les synchronisations sont passées d’hebdomadaires à quotidiennes. Les API Python consommant ces données ont gagné 30 % de performances et la meilleure visibilité a permis aux analystes de fournir plus vite leurs analyses aux parties prenantes. La solution reste évolutive et extensible pour intégrer de nouvelles sources avec la croissance de l’entreprise.

Contact

Vous cherchez encore à préciser vos besoins ?

Dites-nous ce qui ne fonctionne pas ou ce que vous essayez de construire. Nous vous dirons ce que cela demanderait, son coût approximatif et si nous sommes les bonnes personnes pour le réaliser.

À partir de 1 400 DKK de l'heure, hors TVA — et un tarif horaire réduit pour une réservation plus longue.

welcome@engineer.company +45 50 10 61 84 Copenhague, Danemark