Har designet og drevet 6 ETL/ELT‑pipelines
Har designet, implementeret og administreret 6 ETL/ELT‑pipelines med
Google BigQuery, MSSQL, PostgreSQL, shell‑scripting, PL/pgSQL og
Transact‑SQL og integreret data, så et Python‑API kan behandle dem
effektivt.
2022 – 2024

Situation. Organisationen havde brug for at samle og behandle store
mængder tabeldata fra et data warehouse på en fjernserver bag en
IPsec VPN. Dataene var afgørende for interne analysedashboards og
for eksterne Python‑API'er, som kunder og partnere brugte.

Opgave. Målet var at designe, implementere og vedligeholde et sæt
robuste, automatiserede ETL/ELT‑pipelines, der sikkert kunne hente,
transformere og indlæse data i Google BigQuery og samtidig sikre
datanøjagtighed, ydeevne og skalerbarhed i alle systemerne.

Handling. Der blev designet, implementeret og administreret 6
ETL/ELT‑pipelines fra ende til anden, som omfattede en række
teknologier, herunder Google BigQuery, MSSQL, PostgreSQL,
shell‑scripting, PL/pgSQL og Transact‑SQL.

  * Der blev etableret sikre forbindelser til en fjernserver
beskyttet af en IPsec VPN, så datahentningen kunne automatiseres.

  * Download af komprimerede dataarkiver med Parquet-, CSV- og
i.bak‑filer blev planlagt og afviklet.		software.engineer.company	70

  * Der blev udviklet Bash- og Python‑scripts, som udpakkede filerne
og klassificerede dem efter type og skema.

  * For .bak‑filernes vedkommende blev sikkerhedskopierne gendannet
i en lokal MSSQL Server‑instans med RESTORE DATABASE‑arbejdsgange,
og skemaintegriteten blev valideret.

  * Tabeldata blev indlæst i staging‑skemaer i MSSQL og PostgreSQL
med værktøjerne bcp, psql og SSIS, afhængigt af kildeformatet.

  * Der blev skrevet modulære, genanvendelige PL/pgSQL- og
T‑SQL‑procedurer, som rensede, normaliserede og berigede dataene ud
fra forretningslogikken.

  * Kuraterede datasæt og tabeller blev eksporteret til
mellemformater, komprimeret med gzip og overført sikkert til en
Google Cloud Storage‑bucket.

  * Upload og skemamapping til Google BigQuery blev automatiseret
med bq CLI og Python‑baserede scripts til dataindlæsning.

Resultat. De automatiserede pipelines reducerede det manuelle
arbejde og behandlingstiden markant — fra over 3 timers manuelt
arbejde til under 20 minutter fra ende til anden — og dataene blev
synkroniseret dagligt i stedet for ugentligt. Python‑API'erne, der
brugte dataene, fik 30 % bedre ydeevne, og det bedre overblik hjalp
forretningsanalytikerne med hurtigere at levere indsigt til
interessenterne. Løsningen er fortsat skalerbar og kan udvides med
nye datakilder, efterhånden som forretningen vokser.

Kategorier:
1Databaser	/da/categories/databases/	software.engineer.company	70
1PostgreSQL	/da/categories/postgresql/	software.engineer.company	70
1SQL	/da/categories/sql/	software.engineer.company	70
1Data warehousing	/da/categories/data-warehousing/	software.engineer.company	70
1Data engineering	/da/categories/data-engineering/	software.engineer.company	70
1Datapipelines (ETL/ELT)	/da/categories/data-pipelines/	software.engineer.company	70
1Cloud	/da/categories/cloud/	software.engineer.company	70
1Automatisering & CI/CD	/da/categories/automation/	software.engineer.company	70
1Netværk & VPN	/da/categories/networking/	software.engineer.company	70
1Python	/da/categories/python/	software.engineer.company	70

Ydelser:
1Backend- & API‑udvikling	/da/services/backend-development/	software.engineer.company	70
1Databasedesign & datamodellering	/da/services/database-design/	software.engineer.company	70
1Udvikling af datapipelines (ETL/ELT)	/da/services/data-pipeline-development/	software.engineer.company	70
1Design af data warehouse	/da/services/data-warehousing/	software.engineer.company	70
1Klargøring af data til AI	/da/services/ai-data/	software.engineer.company	70

hDenne side på nettet	URL:https://software.engineer.company/da/portfolio/designed-and-ran-6-etl-elt-pipelines/	software.engineer.company	70
