Aller au contenu
EngineerLogiciels
Menu
Design
Français

Engineer / Logiciels / Portfolio

Pipeline géographique accéléré de 50 fois

Consigné une accélération de 50 fois d'un pipeline géographique dans les travaux de la fondatrice chez Utiligize, grâce au SQL et à la modélisation sur PostgreSQL, MS SQL et Google Cloud BigQuery.

Situation. L’organisation subissait des retards importants dans le traitement de grands ensembles de données géographiques, ce qui réduisait l’efficacité des décisions fondées sur les données et du reporting analytique.

Tâche. L’objectif était d’optimiser le pipeline de données géographiques pour améliorer ses performances et réduire la durée des traitements, afin de permettre des analyses plus efficaces et en temps réel.

Action. Une analyse détaillée de la programmation SQL et de la modélisation existantes sur PostgreSQL, MS SQL et Google Cloud BigQuery a révélé des goulots d’étranglement liés à une indexation inefficace, à des requêtes mal adaptées et à l’absence de contraintes appropriées. Pour y remédier :

  • Les modèles ont été repensés pour normaliser les jeux de données critiques, avec du partitionnement pour accélérer la récupération des données.
  • Des techniques avancées d’indexation ont été appliquées : index B‑tree et GiST dans PostgreSQL, index filtrés dans MS SQL et clustering dans BigQuery.
  • Les requêtes SQL complexes ont été optimisées par refonte des sous‑requêtes, réduction des jointures et ajout de vues matérialisées lorsque c’était pertinent.
  • Des contraintes d’intégrité, notamment des clés étrangères et des contraintes de vérification, ont été établies pour préserver la cohérence sans sacrifier les performances.

Résultat. Le dossier de réalisations de la fondatrice rapporte une accélération de 50 fois du pipeline géographique dans cette mission. Il s’agit du résultat consigné pour ce projet, pas d’une garantie pour d’autres jeux de données ou systèmes. Le dossier publié ne précise ni le jeu de données du benchmark, ni le matériel, ni la méthode de comparaison.

Contact

Vous cherchez encore à préciser vos besoins ?

Dites-nous ce qui ne fonctionne pas ou ce que vous essayez de construire. Nous vous dirons ce que cela demanderait, son coût approximatif et si nous sommes les bonnes personnes pour le réaliser.

À partir de 1 400 DKK de l'heure, hors TVA — et un tarif horaire réduit pour une réservation plus longue.

welcome@engineer.company +45 50 10 61 84 Copenhague, Danemark