Utformade och drev 6 ETL/ELT‑pipelines
Utformade, implementerade och administrerade 6 ETL/ELT‑pipelines med
Google BigQuery, MSSQL, PostgreSQL, Shell‑skript, PL/pgSQL och
Transact‑SQL och integrerade data för effektiv bearbetning i ett
Python‑API.
2022 – 2024

Situation. Organisationen behövde konsolidera och bearbeta stora
volymer tabelldata från ett fjärrbeläget datalager bakom ett
IPsec‑VPN. Dessa data var avgörande för att driva interna
analysdashboards och externa Python‑API:er som användes av kunder
och partner.

Uppgift. Målet var att utforma, implementera och underhålla en
uppsättning robusta och automatiserade ETL/ELT‑pipelines för att på
ett säkert sätt hämta, transformera och läsa in data i Google
BigQuery, och samtidigt säkerställa korrekta data, prestanda och
skalbarhet i alla system.

Handling. 6 kompletta ETL/ELT‑pipelines utformades, implementerades
och administrerades, med en rad tekniker som Google BigQuery, MSSQL,
PostgreSQL, Shell‑skript, PL/pgSQL och Transact‑SQL.

  * Etablerade säkra anslutningar till en fjärrserver skyddad av ett
IPsec‑VPN för att automatisera datahämtningen.

  * Schemalade och körde nedladdningar av komprimerade dataarkiv med
Parquet-, CSV- och .bak‑filer.

  * Utvecklade Bash- och Python‑skript för att extrahera och
klassificera filer efter typ och schema.

  * För .bak‑filerna återställdes säkerhetskopiorna till en lokal
MSSQL‑instans med arbetsflöden baserade på RESTORE DATABASE, och
schemaintegriteten validerades.

  * Läste in tabelldata i staging‑scheman i MSSQL och PostgreSQL med
verktygen bcp, psql och SSIS, beroende på källformatet.

  * Skrev modulära och återanvändbara PL/pgSQL- och T‑SQL‑procedurer
för att rensa, normalisera och berika data utifrån affärslogiken.

  * Exporterade kurerade dataset och tabeller till mellanformat,
komprimerade dem med gzip och överförde dem säkert till en bucket i
Google Cloud Storage.

  * Automatiserade uppladdningen och schemamappningen till Google
BigQuery med bq CLI och Python‑baserade skript för datainläsning.

Resultat. Dessa automatiserade pipelines minskade avsevärt det
manuella merarbetet och bearbetningstiden — från över 3 timmars
manuellt arbete till under 20 minuter för hela flödet, samtidigt som
datafärskheten förbättrades från veckovis till daglig
synkronisering. De Python‑API:er som använde dessa data fick 30 %
bättre prestanda, och den ökade insynen hjälpte affärsanalytikerna
att snabbare leverera insikter till intressenterna. Lösningen är
fortfarande skalbar och utbyggbar, så att nya datakällor kan
anslutas i takt med att verksamheten växer.

Kategorier:
1Databaser	/sv/categories/databases/	software.engineer.company	70
1PostgreSQL	/sv/categories/postgresql/	software.engineer.company	70
1SQL	/sv/categories/sql/	software.engineer.company	70
1Datalager	/sv/categories/data-warehousing/	software.engineer.company	70
1Data engineering	/sv/categories/data-engineering/	software.engineer.company	70
1Datapipelines (ETL/ELT)	/sv/categories/data-pipelines/	software.engineer.company	70
1Molntjänster	/sv/categories/cloud/	software.engineer.company	70
1Automatisering och CI/CD	/sv/categories/automation/	software.engineer.company	70
1Nätverk och VPN	/sv/categories/networking/	software.engineer.company	70
1Python	/sv/categories/python/	software.engineer.company	70

Tjänster:
1Backend- och API‑utveckling	/sv/services/backend-development/	software.engineer.company	70
1Databasdesign och datamodellering	/sv/services/database-design/	software.engineer.company	70
1Utveckling av datapipelines (ETL/ELT)	/sv/services/data-pipeline-development/	software.engineer.company	70
1Design av datalager	/sv/services/data-warehousing/	software.engineer.company	70
1Dataförberedelse för AI	/sv/services/ai-data/	software.engineer.company	70

hDen här sidan på webben	URL:https://software.engineer.company/sv/portfolio/designed-and-ran-6-etl-elt-pipelines/	software.engineer.company	70
