Gjorde en geodatapipeline 50 ganger raskere
Registrerte en forbedring på 50 ganger i en geografisk datapipeline i grunnleggerens arbeid hos Utiligize gjennom SQL- og datamodellendringer i PostgreSQL, MS SQL og Google Cloud BigQuery.
Arbeidet utført: 2022 – 2024
50x raskere pipelines for geografiske data
Situasjon. Organisasjonen opplevde betydelige forsinkelser i behandlingen av store mengder geografiske data, noe som gikk ut over effektiviteten i datadrevne beslutningsprosesser og analytisk rapportering.
Oppgave. Målet var å optimalisere den geografiske datapipelinen for å forbedre ytelsen og redusere behandlingstiden, slik at dataanalyser kunne utføres mer effektivt og i sanntid.
Handling. De eksisterende strukturene for SQL‑programmering og datamodellering i PostgreSQL, MS SQL og Google Cloud BigQuery ble grundig analysert, noe som avdekket flaskehalser knyttet til ineffektive indekseringsstrategier, lite optimale spørringsdesign og mangel på hensiktsmessige integritetsregler. For å løse disse problemene:
- Datamodellene ble redesignet for å normalisere kritiske datasett, og partisjoneringsstrategier ble innført for å korte ned hentetidene for data.
- Tok i bruk avanserte indekseringsteknikker, blant annet B‑tree- og GiST‑indekser for PostgreSQL, filtrerte indekser i MS SQL og clustering i BigQuery.
- Optimaliserte komplekse SQL‑spørringer ved å refaktorere delspørringer, redusere antall join‑operasjoner og innføre materialiserte visninger der det var relevant.
- Etablerte integritetsregler for data, som fremmednøkler og CHECK‑regler, for å sikre datakonsistens uten å gå på bekostning av ytelsen.
Resultat. Grunnleggerens resultatbeskrivelse oppgir en forbedring på 50 ganger for den geografiske datapipelinen i dette oppdraget. Dette er det registrerte prosjektresultatet, ikke en garanti for andre datasett eller systemer. Den publiserte beskrivelsen angir ikke målingens datasett, maskinvare eller sammenligningsmetode.

Foto: jpdvg / Pixabay 
Foto: FrankBender / Pixabay
Bruk erfaringen i prosjektet deres
Bruk «Gjorde en geodatapipeline 50 ganger raskere» som utgangspunkt for en lignende utfordring i organisasjonen deres. Tjenestene bak arbeidet er tilgjengelige for prosjektet deres. Alt som skjer på et sted — fartøy, kjøretøy, tomter, sensorer — lagt på et kart du kan søke i, måle på og dele.
Se bak resultatet
Les om situasjonen, beslutningene og resultatet i eksemplet. Vi kan drøfte hva som passer deres rammer, og hva som krever en annen tilnærming. Gjorde en geodatapipeline 50 ganger raskere — 50x raskere pipelines for geografiske data
Les videre: Gjorde GIS‑kart 10 ganger raskere på PostgreSQL. Eller ta en titt på hele porteføljen.
Ett stykke av en lengre oversikt — og den ligger i sin helhet her.
Hver oppføring er skrevet på samme måte: situasjonen, oppgaven, hva vi gjorde, og hva som endret seg.

