# Designet, implementerte og administrerte 6 ETL/ELT‑pipelines med Google BigQuery, MSSQL, PostgreSQL, Shell‑skripting, PL/pgSQL og Transact‑SQL, og integrerte data for effektiv behandling i et Python‑API. 2022 – 2024 **Situasjon.** Organisasjonen trengte å samle og behandle store mengder strukturerte data fra et eksternt datavarehus som lå bak et IPsec‑VPN. Disse dataene var avgjørende for interne analysedashbord og eksterne Python‑API‑er som ble brukt av kunder og partnere. **Oppgave.** Målet var å designe, implementere og vedlikeholde et sett med robuste og automatiserte ETL/ELT‑pipelines for å hente, transformere og laste data sikkert inn i Google BigQuery, med nøyaktige data, god ytelse og skalerbarhet på tvers av systemene. **Handling.** 6 ende‑til‑ende ETL/ELT‑pipelines ble designet, implementert og administrert, på tvers av flere teknologier, blant annet Google BigQuery, MSSQL, PostgreSQL, Shell‑skripting, PL/pgSQL og Transact‑SQL. - Etablerte sikre tilkoblinger til en ekstern server beskyttet av et IPsec‑VPN for å automatisere datainnhentingen. - Planla og kjørte nedlastinger av komprimerte dataarkiver med Parquet-, CSV- og .bak‑filer. - Utviklet Bash- og Python‑skript for å pakke ut og klassifisere filer etter type og skjema. - For .bak‑filer ble sikkerhetskopiene gjenopprettet i en lokal MSSQL Server‑instans med RESTORE DATABASE‑arbeidsflyter, og skjemaintegriteten ble validert. - Lastet strukturerte data inn i staging‑skjemaer i MSSQL og PostgreSQL med verktøyene bcp, psql og SSIS, avhengig av kildeformatet. - Skrev modulære og gjenbrukbare PL/pgSQL- og T‑SQL‑prosedyrer for å rense, normalisere og berike dataene ut fra forretningslogikken. - Eksporterte kuraterte datasett og tabeller til mellomformater, komprimerte dem med gzip og overførte dem sikkert til en Google Cloud Storage‑bucket. - Automatiserte opplastingen og skjemamappingen til Google BigQuery med bq CLI og Python‑baserte skript for datainnlasting. **Resultat.** Disse automatiserte pipelinene reduserte det manuelle merarbeidet og behandlingstiden betydelig — fra 3+ timer manuelt arbeid til under 20 minutter fra ende til ende, samtidig som dataenes ferskhet ble forbedret fra ukentlige til daglige synkroniseringer. Python‑API‑ene som brukte disse dataene, fikk 30 % bedre ytelse, og den bedre oversikten hjalp forretningsanalytikerne med å levere raskere innsikt til interessentene. Løsningen er fortsatt skalerbar og utvidbar for onboarding av nye datakilder etter hvert som virksomheten vokser. --- - Rolle: Dataingeniør - Kategorier: [Databaser](https://software.engineer.company/nb/categories/databases/), [PostgreSQL](https://software.engineer.company/nb/categories/postgresql/), [SQL](https://software.engineer.company/nb/categories/sql/), [Datavarehus](https://software.engineer.company/nb/categories/data-warehousing/), [Data engineering](https://software.engineer.company/nb/categories/data-engineering/), [Datapipelines (ETL/ELT)](https://software.engineer.company/nb/categories/data-pipelines/), [Skytjenester](https://software.engineer.company/nb/categories/cloud/), [Automatisering og CI/CD](https://software.engineer.company/nb/categories/automation/), [Nettverk og VPN](https://software.engineer.company/nb/categories/networking/), [Python](https://software.engineer.company/nb/categories/python/) - Tjenester: [Backend- og API‑utvikling](https://software.engineer.company/nb/services/backend-development/), [Databasedesign og datamodellering](https://software.engineer.company/nb/services/database-design/), [Utvikling av datapipelines (ETL/ELT)](https://software.engineer.company/nb/services/data-pipeline-development/), [Design av datavarehus](https://software.engineer.company/nb/services/data-warehousing/)