Gjorde pipelinen för geodata 50 gånger snabbare
Dokumenterade en förbättring på 50 gånger i en geografisk datapipeline i grundarens arbete hos Utiligize genom SQL- och datamodelländringar i PostgreSQL, MS SQL och Google Cloud BigQuery.
Arbetet utfört: 2022 – 2024
50x snabbare datapipelines för geodata
Situation. Organisationen hade betydande förseningar i bearbetningen av stora mängder geografiska data, vilket påverkade effektiviteten i datadrivna beslutsprocesser och analytisk rapportering.
Uppgift. Målet var att optimera pipelinen för geografiska data för att förbättra prestandan och korta bearbetningstiden, så att dataanalyser kunde utföras effektivare och i realtid.
Handling. De befintliga strukturerna för SQL‑programmering och datamodellering i PostgreSQL, MS SQL och Google Cloud BigQuery analyserades noggrant, vilket blottlade flaskhalsar i form av ineffektiva indexeringsstrategier, suboptimalt utformade SQL‑frågor och avsaknad av lämpliga integritetsvillkor. För att komma till rätta med problemen:
- Datamodellerna gjordes om för att normalisera kritiska dataset, och partitioneringsstrategier infördes för att korta tiderna för datahämtning.
- Tillämpade avancerade indexeringstekniker, bl.a. B‑tree- och GiST‑index för PostgreSQL, filtrerade index i MS SQL och klustring i BigQuery.
- Optimerade komplexa SQL‑frågor genom att refaktorera underfrågor, minska antalet join‑operationer och använda materialiserade vyer där det var relevant.
- Etablerade integritetsvillkor som främmande nycklar och CHECK‑villkor för att säkerställa datakonsistens utan att ge avkall på prestandan.
Resultat. Grundarens resultatbeskrivning anger en förbättring på 50 gånger för den geografiska datapipelinen i detta uppdrag. Detta är det dokumenterade projektresultatet, inte en garanti för andra datamängder eller system. Den publicerade beskrivningen anger inte mätningens datamängd, maskinvara eller jämförelsemetod.

Foto: jpdvg / Pixabay 
Foto: FrankBender / Pixabay
Använd erfarenheten i ert projekt
Använd ”Gjorde pipelinen för geodata 50 gånger snabbare” som utgångspunkt för en liknande utmaning i er organisation. Tjänsterna bakom arbetet finns tillgängliga för ert projekt. Allt som händer på en plats — fartyg, fordon, tomter, sensorer — på en karta du kan söka i, mäta på och dela.
Se bakom resultatet
Läs om situationen, besluten och resultatet i exemplet. Vi kan diskutera vad som passar era förutsättningar och vad som kräver ett annat angreppssätt. Gjorde pipelinen för geodata 50 gånger snabbare — 50x snabbare datapipelines för geodata
Läs vidare: Gjorde GIS‑kartan 10 gånger snabbare i PostgreSQL. Eller ta en titt på hela portföljen.
En del av en längre historik — och den finns i sin helhet här.
Varje post är skriven på samma sätt: situationen, uppgiften, vad vi gjorde och vad som förändrades.

