# 100 PostgreSQL/MS‑SQL/BigQuery‑Warehouses

100 Data‑Warehouse‑Datenbanken in PostgreSQL, MS SQL und Google BigQuery mit überwiegend GIS- und Zeitreihendaten konzipiert, aufgebaut und verwaltet sowie Performance und Skalierbarkeit optimiert.

2022 – 2024

**Situation.** In einem schnell wachsenden Technologieunternehmen bestand dringender Bedarf, einen vielfältigen Bestand von über 100 Datenbanken in PostgreSQL, Microsoft SQL Server und Google BigQuery aufzubauen, zu verwalten und zu optimieren. Die Datenbanken verarbeiteten vor allem komplexe Datensätze: GIS‑Daten wie räumliche Koordinaten und ortsbezogene Analysen sowie Zeitreihen wie Sensorwerte, Protokolle und Echtzeitkennzahlen. Die bestehende Infrastruktur hatte Schwierigkeiten mit Skalierbarkeit, Abfrageperformance und Datenkonsistenz, insbesondere bei exponentiell wachsenden Datenmengen. Eine tragfähige Architektur sollte die Verlässlichkeit der Daten gewährleisten und die Betriebskosten senken.

**Aufgabe.** Ein skalierbares, leistungsfähiges Data‑Warehouse‑System speziell für GIS- und Zeitreihendaten sollte entworfen, umgesetzt und verwaltet werden. Dazu gehörte:
- Performanceengpässe in komplexen räumlichen und zeitbezogenen Abfragen beheben.
- Wachsende Datenmengen bei wirtschaftlichem Betrieb bewältigen.
- Mit abteilungsübergreifenden Teams wie Data Scientists und Produktmanagern das Datenbankdesign auf die Geschäftsanforderungen abstimmen.

**Massnahmen.** Dafür wurden folgende Schritte umgesetzt:
1. Skalierbare Architekturen entworfen:
  - Normalisierte und denormalisierte Schemata für PostgreSQL und SQL Server angelegt und die Abfrageperformance durch räumliche Indizierung, etwa PostGIS für PostgreSQL, und Zeitreihenpartitionierung optimiert.
  - Zeitpartitionierte und geclusterte BigQuery‑Tabellen zur effizienten Verarbeitung großer Zeitreihen eingesetzt.
2. Optimierungsstrategien umgesetzt:
  - Indizierung, materialisierte Sichten und Caching eingeführt, um die Latenz von GIS- und Zeitreihenabfragen zu verringern.
  - Datenkompression und spaltenorientierte Speicherung in BigQuery eingesetzt, um Speicherkosten zu senken und Scans zu beschleunigen.
3. An plattformübergreifender Integration gearbeitet:
  - Bewährte Verfahren zur Modellierung von GIS- und Zeitreihendaten als Orientierung für spätere Teamprojekte dokumentiert.

**Ergebnis.** Die Maßnahmen führten zu deutlichen Verbesserungen:
- Performance: Antwortzeiten für GIS- und Zeitreihenabfragen sanken um 40–60 %, sodass Analysen und Entscheidungen schneller möglich wurden.
- Betriebszuverlässigkeit: Automatisches Monitoring verringerte Ausfallzeiten um 50 %; standardisierte Abläufe erhöhten die Teamproduktivität und reduzierten Fehler.
- Geschäftliche Wirkung: Die optimierte Infrastruktur ermöglichte neue datenbasierte Produkte wie Echtzeit‑Analysedashboards und die Erfüllung regulatorischer Anforderungen an Data Governance.

Die Arbeit stärkte die Fähigkeit des Unternehmens, komplexe Datenaufgaben zu bewältigen.

---

- Rolle: Datenbankingenieurin
- Kategorien: [Plattformarchitektur](https://software.engineer.company/de/categories/platform-architecture/), [Datenbanken](https://software.engineer.company/de/categories/databases/), [PostgreSQL](https://software.engineer.company/de/categories/postgresql/), [SQL](https://software.engineer.company/de/categories/sql/), [Data Warehousing](https://software.engineer.company/de/categories/data-warehousing/), [Data Engineering](https://software.engineer.company/de/categories/data-engineering/), [Data Governance](https://software.engineer.company/de/categories/data-governance/), [Zuverlässigkeit und Sicherungen](https://software.engineer.company/de/categories/reliability/), [Performanceoptimierung](https://software.engineer.company/de/categories/performance/), [GIS / Geodaten](https://software.engineer.company/de/categories/gis/)
- Leistungen: [GIS- und Geodatenlösungen](https://software.engineer.company/de/services/gis-geospatial/), [Datenbankdesign und Datenmodellierung](https://software.engineer.company/de/services/database-design/), [Datenbankadministration (DBA)](https://software.engineer.company/de/services/database-administration/), [Datenbank‑Performanceoptimierung](https://software.engineer.company/de/services/database-performance/), [Data‑Warehouse‑Design](https://software.engineer.company/de/services/data-warehousing/)

<https://engineer.company/de/portfolio/ran-100-postgresql-ms-sql-bigquery-warehouses/>
