Hoppa till innehållet

Utformade och drev 6 ETL/ELT‑pipelines

Utformade, implementerade och administrerade 6 ETL/ELT‑pipelines med Google BigQuery, MSSQL, PostgreSQL, Shell‑skript, PL/pgSQL och Transact‑SQL och integrerade data för effektiv bearbetning i ett Python‑API.

6 ETL‑pipelines över tre databasmotorer

Situation. Organisationen behövde konsolidera och bearbeta stora volymer tabelldata från ett fjärrbeläget datalager bakom ett IPsec‑VPN. Dessa data var avgörande för att driva interna analysdashboards och externa Python‑API:er som användes av kunder och partner.

Uppgift. Målet var att utforma, implementera och underhålla en uppsättning robusta och automatiserade ETL/ELT‑pipelines för att på ett säkert sätt hämta, transformera och läsa in data i Google BigQuery, och samtidigt säkerställa korrekta data, prestanda och skalbarhet i alla system.

Handling. 6 kompletta ETL/ELT‑pipelines utformades, implementerades och administrerades, med en rad tekniker som Google BigQuery, MSSQL, PostgreSQL, Shell‑skript, PL/pgSQL och Transact‑SQL.

  • Etablerade säkra anslutningar till en fjärrserver skyddad av ett IPsec‑VPN för att automatisera datahämtningen.
  • Schemalade och körde nedladdningar av komprimerade dataarkiv med Parquet-, CSV- och .bak‑filer.
  • Utvecklade Bash- och Python‑skript för att extrahera och klassificera filer efter typ och schema.
  • För .bak‑filerna återställdes säkerhetskopiorna till en lokal MSSQL‑instans med arbetsflöden baserade på RESTORE DATABASE, och schemaintegriteten validerades.
  • Läste in tabelldata i staging‑scheman i MSSQL och PostgreSQL med verktygen bcp, psql och SSIS, beroende på källformatet.
  • Skrev modulära och återanvändbara PL/pgSQL- och T‑SQL‑procedurer för att rensa, normalisera och berika data utifrån affärslogiken.
  • Exporterade kurerade dataset och tabeller till mellanformat, komprimerade dem med gzip och överförde dem säkert till en bucket i Google Cloud Storage.
  • Automatiserade uppladdningen och schemamappningen till Google BigQuery med bq CLI och Python‑baserade skript för datainläsning.

Resultat. Dessa automatiserade pipelines minskade avsevärt det manuella merarbetet och bearbetningstiden — från över 3 timmars manuellt arbete till under 20 minuter för hela flödet, samtidigt som datafärskheten förbättrades från veckovis till daglig synkronisering. De Python‑API:er som använde dessa data fick 30 % bättre prestanda, och den ökade insynen hjälpte affärsanalytikerna att snabbare leverera insikter till intressenterna. Lösningen är fortfarande skalbar och utbyggbar, så att nya datakällor kan anslutas i takt med att verksamheten växer.

  • Raffinaderi, olja, industri
    Foto: SatyaPrem / Pixabay
  • Kamaresakvedukten, akvedukt, arkitektur
    Foto: dimitrisvetsikas1969 / Pixabay

Använd erfarenheten i ert projekt

Använd ”Utformade och drev 6 ETL/ELT‑pipelines” som utgångspunkt för en liknande utmaning i er organisation. Tjänsterna bakom arbetet finns tillgängliga för ert projekt. Den del användarna aldrig ser: där data lagras, vilka reglerna är och hur andra system får kommunicera med den.

Se våra tjänster Hör av er

Se bakom resultatet

Läs om situationen, besluten och resultatet i exemplet. Vi kan diskutera vad som passar era förutsättningar och vad som kräver ett annat angreppssätt. Utformade och drev 6 ETL/ELT‑pipelines — 6 ETL‑pipelines över tre databasmotorer

Se våra tjänster Hör av er

En del av en längre historik — och den finns i sin helhet här.

Varje post är skriven på samma sätt: situationen, uppgiften, vad vi gjorde och vad som förändrades.

Se hela historiken

Definiera förbättringen ni behöver

Beskriv arbetsflödet, befintliga gränssnitt och användarna som behöver förändringen. Vi kan definiera en testbar leverans och en överlämning som gör att teamet kan underhålla lösningen.

Se vad det kostar Hör av er

Behöver du samla data från många källor?

Fråga om besluten bakom ”Utformade och drev 6 ETL/ELT‑pipelines”. Ni talar med personer som kan förklara arbetet och bedöma ert eget projekt.

Se våra tjänster
welcome@engineer.company +45 50 10 61 84 Köpenhamn, Danmark
QR-kod för Utformade, implementerade och administrerade 6 ETL/ELT‑pipelines med Google BigQuery, MSSQL, PostgreSQL, Shell‑skript, PL/pgSQL och Transact‑SQL och integrerade data för effektiv bearbetning i ett Python‑API.
Ta med dig den här sidanhttps://software.engineer.company/sv/portfolio/designed-and-ran-6-etl-elt-pipelines/