Har gjort en geodatapipeline 50 gange hurtigere
Har registreret en forbedring på 50 gange i en geografisk
datapipeline i stifterens arbejde hos Utiligize gennem SQL- og
datamodelændringer i PostgreSQL, MS SQL og Google Cloud BigQuery.
2022 – 2024

Situation. Organisationen oplevede betydelige forsinkelser i
behandlingen af store mængder geografiske data, og det gik ud over
effektiviteten i de datadrevne beslutningsprocesser og den
analytiske rapportering.

Opgave. Målet var at optimere pipelinen for geografiske data, så
ydeevnen blev bedre og behandlingstiden kortere, og dataanalyserne
kunne udføres mere effektivt og i realtid.

Handling. Den eksisterende SQL‑programmering og de eksisterende
datamodeller i PostgreSQL, MS SQL og Google Cloud BigQuery blev
analyseret minutiøst. Analysen afdækkede flaskehalse, der skyldtes
ineffektive indekseringsstrategier, uhensigtsmæssigt opbyggede
forespørgsler og mangel på passende constraints. Problemerne blev
afhjulpet med følgende tiltag:

  * Datamodellerne blev redesignet, så kritiske datasæt blev
normaliseret, og der blev indført partitioneringsstrategier for at
gøre datahentningen hurtigere.

  * Der blev anvendt avancerede indekseringsteknikker, herunder
B‑tree- og GiST‑indeks i PostgreSQL, filtrerede indeks i MS SQL og
clustering i BigQuery.

  * Komplekse SQL‑forespørgsler blev optimeret ved at omskrive
subqueries, skære ned på antallet af joins og tage materialiserede
views i brug, hvor det var relevant.

  * Der blev indført integritetsregler som foreign keys og
check‑constraints, så dataene forblev konsistente, uden at det gik
ud over ydeevnen.

Resultat. Stifterens resultatbeskrivelse angiver en forbedring på 50
gange for den geografiske datapipeline i dette forløb. Det er det
registrerede projektresultat, ikke en garanti for andre datasæt
eller systemer. Den offentliggjorte beskrivelse angiver ikke
målingens datasæt, hardware eller sammenligningsmetode.

Kategorier:
1Databaser	/da/categories/databases/	software.engineer.company	70
1PostgreSQL	/da/categories/postgresql/	software.engineer.company	70
1SQL	/da/categories/sql/	software.engineer.company	70
1Data warehousing	/da/categories/data-warehousing/	software.engineer.company	70
1Data engineering	/da/categories/data-engineering/	software.engineer.company	70
1Datapipelines (ETL/ELT)	/da/categories/data-pipelines/	software.engineer.company	70
1Data governance	/da/categories/data-governance/	software.engineer.company	70
1Optimering af ydeevne	/da/categories/performance/	software.engineer.company	70
1GIS / geodata	/da/categories/gis/	software.engineer.company	70

Ydelser:
1GIS & geospatiale løsninger	/da/services/gis-geospatial/	software.engineer.company	70
1Databaseoptimering	/da/services/database-performance/	software.engineer.company	70
1Udvikling af datapipelines (ETL/ELT)	/da/services/data-pipeline-development/	software.engineer.company	70
1Design af data warehouse	/da/services/data-warehousing/	software.engineer.company	70
1Klargøring af data til AI	/da/services/ai-data/	software.engineer.company	70

hDenne side på nettet	URL:https://software.engineer.company/da/portfolio/made-a-geographical-data-pipeline-50x-faster/	software.engineer.company	70
