Zum Inhalt springen

6 ETL/ELT‑Pipelines entworfen und betrieben

6 ETL/ELT‑Pipelines mit Google BigQuery, MSSQL, PostgreSQL, Shell‑Skripten, PL/pgSQL und Transact‑SQL entworfen, umgesetzt und administriert sowie Daten für eine effiziente Verarbeitung durch die Python‑API integriert.

6 ETL‑Pipelines über drei Datenbankengines hinweg

Situation. Das Unternehmen musste große Mengen tabellarischer Daten aus einem entfernten Data Warehouse hinter einem IPsec‑VPN zusammenführen und verarbeiten. Diese Daten waren wesentlich für interne Analysedashboards und externe Python‑APIs für Kunden und Partner.

Aufgabe. Belastbare, automatisierte ETL/ELT‑Pipelines sollten entworfen, umgesetzt und gepflegt werden, um Daten sicher abzurufen, zu transformieren und nach Google BigQuery zu laden. Datenrichtigkeit, Performance und systemübergreifende Skalierbarkeit mussten gewährleistet sein.

Massnahmen. 6 durchgängige ETL/ELT‑Pipelines wurden entworfen, umgesetzt und administriert. Sie verbanden Google BigQuery, MSSQL, PostgreSQL, Shell‑Skripte, PL/pgSQL und Transact‑SQL.

  • Sichere Verbindungen zu einem durch IPsec‑VPN geschützten entfernten Server automatisierten den Datenabruf.
  • Downloads komprimierter Archive mit Parquet-, CSV- und .bak‑Dateien wurden geplant und ausgeführt.
  • Bash- und Python‑Skripte entpackten und klassifizierten Dateien nach Typ und Schema.
  • .bak‑Sicherungen wurden mit RESTORE‑DATABASE‑Abläufen in einer lokalen MSSQL‑Server‑Instanz wiederhergestellt; die Schemaintegrität wurde geprüft.
  • Tabellarische Daten wurden abhängig vom Quellformat mit bcp, psql und SSIS in Staging‑Schemata von MSSQL und PostgreSQL geladen.
  • Modulare, wiederverwendbare PL/pgSQL- und T‑SQL‑Prozeduren bereinigten, normalisierten und ergänzten die Daten gemäß der Geschäftslogik.
  • Aufbereitete Datensätze und Tabellen wurden in Zwischenformate exportiert, mit gzip komprimiert und sicher in einen Google‑Cloud‑Storage‑Bucket übertragen.
  • Upload und Schemazuordnung nach Google BigQuery wurden mit der bq‑CLI und Python‑Skripten zur Datenübernahme automatisiert.

Ergebnis. Die automatisierten Pipelines verringerten manuellen Aufwand und Verarbeitungszeit erheblich — von über 3 Stunden Handarbeit auf unter 20 Minuten für den gesamten Ablauf. Zugleich wurden die Daten statt wöchentlich nun täglich abgeglichen. Die Performance der nutzenden Python‑APIs verbesserte sich um 30 %, und die bessere Transparenz half Geschäftsanalysten, Stakeholder schneller mit Erkenntnissen zu versorgen. Die Lösung bleibt skalierbar und erweiterbar, wenn mit dem Unternehmenswachstum neue Datenquellen hinzukommen.

  • Raffinerie, Erdöl und Industrie
    Foto: SatyaPrem / Pixabay
  • Kamares-Aquädukt, Architektur
    Foto: dimitrisvetsikas1969 / Pixabay

Diese Erfahrung für Ihr Projekt nutzen

Nutzen Sie „6 ETL/ELT‑Pipelines entworfen und betrieben“ als Ausgangspunkt für eine ähnliche Herausforderung in Ihrer Organisation. Die Leistungen hinter dieser Arbeit stehen auch für Ihr Projekt zur Verfügung. Der Teil, den Nutzer nie sehen: wo die Daten liegen, welche Regeln gelten und wie andere Systeme darauf zugreifen dürfen.

Unsere Leistungen entdecken Kontakt aufnehmen

Hinter das Ergebnis schauen

Lesen Sie die Situation, die Entscheidungen und das Ergebnis dieses Beispiels. Wir können besprechen, welche Teile sich auf Ihre Rahmenbedingungen übertragen lassen und welche einen anderen Ansatz erfordern. 6 ETL/ELT‑Pipelines entworfen und betrieben — 6 ETL‑Pipelines über drei Datenbankengines hinweg

Unsere Leistungen entdecken Kontakt aufnehmen

Ein Teil einer längeren Arbeitsbilanz — vollständig auf dieser Website zu finden.

Jeder Eintrag folgt demselben Aufbau: die Situation, die Aufgabe, unser Vorgehen und die Veränderungen.

Alle Arbeiten ansehen

Die benötigte Verbesserung definieren

Beschreiben Sie den Arbeitsablauf, die vorhandenen Schnittstellen und die Nutzer, die die Veränderung benötigen. Wir können eine prüfbare Lieferung definieren und die Übergabe so gestalten, dass Ihr Team die gelieferten Bestandteile warten kann.

Preise ansehen Kontakt aufnehmen

Müssen Daten aus vielen Quellen zusammengeführt werden?

Fragen Sie nach den Entscheidungen hinter „6 ETL/ELT‑Pipelines entworfen und betrieben“. Sie sprechen mit den Menschen, die die Arbeit erklären und Ihr eigenes Projekt einschätzen können.

Unsere Leistungen entdecken
welcome@engineer.company +45 50 10 61 84 Kopenhagen, Dänemark
QR-Code für 6 ETL/ELT‑Pipelines mit Google BigQuery, MSSQL, PostgreSQL, Shell‑Skripten, PL/pgSQL und Transact‑SQL entworfen, umgesetzt und administriert sowie Daten für eine effiziente Verarbeitung durch die Python‑API integriert.
Nehmen Sie diese Seite mithttps://software.engineer.company/de/portfolio/designed-and-ran-6-etl-elt-pipelines/