Utformade, implementerade och administrerade 6 ETL/ELT‑pipelines med Google BigQuery, MSSQL, PostgreSQL, Shell‑skript, PL/pgSQL och Transact‑SQL och integrerade data för effektiv bearbetning i ett Python‑API.

Situation. Organisationen behövde konsolidera och bearbeta stora volymer strukturerade data från ett fjärrbeläget datalager bakom ett IPsec‑VPN. Dessa data var avgörande för att driva interna analysdashboards och externa Python‑API:er som användes av kunder och partner.

Uppgift. Målet var att utforma, implementera och underhålla en uppsättning robusta och automatiserade ETL/ELT‑pipelines för att på ett säkert sätt hämta, transformera och läsa in data i Google BigQuery, och samtidigt säkerställa korrekta data, prestanda och skalbarhet i alla system.

Handling. 6 kompletta ETL/ELT‑pipelines utformades, implementerades och administrerades, med en rad tekniker som Google BigQuery, MSSQL, PostgreSQL, Shell‑skript, PL/pgSQL och Transact‑SQL.

• Etablerade säkra anslutningar till en fjärrserver skyddad av ett IPsec‑VPN för att automatisera datahämtningen.
• Schemalade och körde nedladdningar av komprimerade dataarkiv med Parquet-, CSV- och .bak‑filer.
• Utvecklade Bash- och Python‑skript för att extrahera och klassificera filer efter typ och schema.
• För .bak‑filerna återställdes säkerhetskopiorna till en lokal MSSQL‑instans med arbetsflöden baserade på RESTORE DATABASE, och schemaintegriteten validerades.
• Läste in strukturerade data i staging‑scheman i MSSQL och PostgreSQL med verktygen bcp, psql och SSIS, beroende på källformatet.
• Skrev modulära och återanvändbara PL/pgSQL- och T‑SQL‑procedurer för att rensa, normalisera och berika data utifrån affärslogiken.
• Exporterade kurerade dataset och tabeller till mellanformat, komprimerade dem med gzip och överförde dem säkert till en bucket i Google Cloud Storage.
• Automatiserade uppladdningen och schemamappningen till Google BigQuery med bq CLI och Python‑baserade skript för datainläsning.

Resultat. Dessa automatiserade pipelines minskade avsevärt det manuella merarbetet och bearbetningstiden — från över 3 timmars manuellt arbete till under 20 minuter för hela flödet, samtidigt som datafärskheten förbättrades från veckovis till daglig synkronisering. De Python‑API:er som använde dessa data fick 30 % bättre prestanda, och den ökade insynen hjälpte affärsanalytikerna att snabbare leverera insikter till intressenterna. Lösningen är fortfarande skalbar och utbyggbar, så att nya datakällor kan anslutas i takt med att verksamheten växer.