Designet og driftet 6 ETL/ELT‑pipelines
Designet, implementerte og administrerte 6 ETL/ELT‑pipelines med
Google BigQuery, MSSQL, PostgreSQL, Shell‑skripting, PL/pgSQL og
Transact‑SQL, og integrerte data for effektiv behandling i et
Python‑API.
2022 – 2024

Situasjon. Organisasjonen trengte å samle og behandle store mengder
tabelldata fra et eksternt datavarehus som lå bak et IPsec‑VPN.
Disse dataene var avgjørende for interne analysedashbord og eksterne
Python‑API‑er som ble brukt av kunder og partnere.

Oppgave. Målet var å designe, implementere og vedlikeholde et sett
med robuste og automatiserte ETL/ELT‑pipelines for å hente,
transformere og laste data sikkert inn i Google BigQuery, med
nøyaktige data, god ytelse og skalerbarhet på tvers av systemene.

Handling. 6 ende‑til‑ende ETL/ELT‑pipelines ble designet,
implementert og administrert, på tvers av flere teknologier, blant
annet Google BigQuery, MSSQL, PostgreSQL, Shell‑skripting, PL/pgSQL
og Transact‑SQL.

  * Etablerte sikre tilkoblinger til en ekstern server beskyttet av
et IPsec‑VPN for å automatisere datainnhentingen.

  * Planla og kjørte nedlastinger av komprimerte dataarkiver med
Parquet-, CSV- og .bak‑filer.

  * Utviklet Bash- og Python‑skript for å pakke ut og klassifisere
filer etter type og skjema.

  * For .bak‑filer ble sikkerhetskopiene gjenopprettet i en lokal
MSSQL Server‑instans med RESTORE DATABASE‑arbeidsflyter, og
skjemaintegriteten ble validert.

  * Lastet tabelldata inn i staging‑skjemaer i MSSQL og PostgreSQL
med verktøyene bcp, psql og SSIS, avhengig av kildeformatet.

  * Skrev modulære og gjenbrukbare PL/pgSQL- og T‑SQL‑prosedyrer for
å rense, normalisere og berike dataene ut fra forretningslogikken.

  * Eksporterte kuraterte datasett og tabeller til mellomformater,
komprimerte dem med gzip og overførte dem sikkert til en Google
Cloud Storage‑bucket.

  * Automatiserte opplastingen og skjemamappingen til Google
BigQuery med bq CLI og Python‑baserte skript for datainnlasting.

Resultat. Disse automatiserte pipelinene reduserte det manuelle
merarbeidet og behandlingstiden betydelig — fra 3+ timer manuelt
arbeid til under 20 minutter fra ende til ende, samtidig som
dataenes ferskhet ble forbedret fra ukentlige til daglige
synkroniseringer. Python‑API‑ene som brukte disse dataene, fikk 30 %
bedre ytelse, og den bedre oversikten hjalp forretningsanalytikerne
med å levere raskere innsikt til interessentene. Løsningen er
fortsatt skalerbar og utvidbar for onboarding av nye datakilder
etter hvert som virksomheten vokser.

Kategorier:
1Databaser	/nb/categories/databases/	software.engineer.company	70
1PostgreSQL	/nb/categories/postgresql/	software.engineer.company	70
1SQL	/nb/categories/sql/	software.engineer.company	70
1Datavarehus	/nb/categories/data-warehousing/	software.engineer.company	70
1Data engineering	/nb/categories/data-engineering/	software.engineer.company	70
1Datapipelines (ETL/ELT)	/nb/categories/data-pipelines/	software.engineer.company	70
1Skytjenester	/nb/categories/cloud/	software.engineer.company	70
1Automatisering og CI/CD	/nb/categories/automation/	software.engineer.company	70
1Nettverk og VPN	/nb/categories/networking/	software.engineer.company	70
1Python	/nb/categories/python/	software.engineer.company	70

Tjenester:
1Backend- og API‑utvikling	/nb/services/backend-development/	software.engineer.company	70
1Databasedesign og datamodellering	/nb/services/database-design/	software.engineer.company	70
1Utvikling av datapipelines (ETL/ELT)	/nb/services/data-pipeline-development/	software.engineer.company	70
1Design av datavarehus	/nb/services/data-warehousing/	software.engineer.company	70
1Klargjøring av data for AI	/nb/services/ai-data/	software.engineer.company	70

hDenne siden på nettet	URL:https://software.engineer.company/nb/portfolio/designed-and-ran-6-etl-elt-pipelines/	software.engineer.company	70
