Spring til indhold
EngineerSoftware
Menu
Design
Dansk

Engineer / Software / Portefølje

Har gjort en geodatapipeline 50 gange hurtigere

Har registreret en forbedring på 50 gange i en geografisk datapipeline i stifterens arbejde hos Utiligize gennem SQL- og datamodelændringer i PostgreSQL, MS SQL og Google Cloud BigQuery.

Situation. Organisationen oplevede betydelige forsinkelser i behandlingen af store mængder geografiske data, og det gik ud over effektiviteten i de datadrevne beslutningsprocesser og den analytiske rapportering.

Opgave. Målet var at optimere pipelinen for geografiske data, så ydeevnen blev bedre og behandlingstiden kortere, og dataanalyserne kunne udføres mere effektivt og i realtid.

Handling. Den eksisterende SQL‑programmering og de eksisterende datamodeller i PostgreSQL, MS SQL og Google Cloud BigQuery blev analyseret minutiøst. Analysen afdækkede flaskehalse, der skyldtes ineffektive indekseringsstrategier, uhensigtsmæssigt opbyggede forespørgsler og mangel på passende constraints. Problemerne blev afhjulpet med følgende tiltag:

  • Datamodellerne blev redesignet, så kritiske datasæt blev normaliseret, og der blev indført partitioneringsstrategier for at gøre datahentningen hurtigere.
  • Der blev anvendt avancerede indekseringsteknikker, herunder B‑tree- og GiST‑indeks i PostgreSQL, filtrerede indeks i MS SQL og clustering i BigQuery.
  • Komplekse SQL‑forespørgsler blev optimeret ved at omskrive subqueries, skære ned på antallet af joins og tage materialiserede views i brug, hvor det var relevant.
  • Der blev indført integritetsregler som foreign keys og check‑constraints, så dataene forblev konsistente, uden at det gik ud over ydeevnen.

Resultat. Stifterens resultatbeskrivelse angiver en forbedring på 50 gange for den geografiske datapipeline i dette forløb. Det er det registrerede projektresultat, ikke en garanti for andre datasæt eller systemer. Den offentliggjorte beskrivelse angiver ikke målingens datasæt, hardware eller sammenligningsmetode.

Kontakt

Er I stadig ved at finde ud af, hvad I har brug for?

Fortæl os, hvad der går galt, eller hvad I prøver at bygge. Så siger vi, hvad det vil kræve, cirka hvad det vil koste, og om vi er de rigtige til det.

Fra 1.400 DKK i timen, ekskl. moms — og mindre pr. time ved en længere booking.

welcome@engineer.company +45 50 10 61 84 København, Danmark