地理情報パイプラインを50倍に高速化
創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud
BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の
改善を記録した。
2022 – 2024

状況. 組織は大量の地理データの処理に大幅な遅延を抱えており、データに
基づく意思決定と分析レポートの作成の効率に影響が出ていた。

課題.
地理データパイプラインを最適化して性能を高め、処理時間を短縮し、より
効果的にリアルタイムでデータを分析できるようにすることが目標だった。

行動. PostgreSQL、MS SQL、Google Cloud
BigQueryにまたがる既存のSQLプログラムとデータモデルの構造を詳しく分
析したところ、非効率なインデックス戦略、不適切なクエリ設計、必要な制
約の不足によるボトルネックが明らかになった。これらに対処するため、次
の作業を実施した:

  * データモデルを再設計して重要なデータセットを正規化し、データ取得
時間を改善するためにパーティション分割を導入した。

  * PostgreSQLのB‑treeおよびGiSTインデックス、MS
SQLのフィルター付きインデックス、BigQueryのクラスタリングなど、高度
なインデックス技法を適用した。

  * サブクエリの書き換え、結合処理の削減、適切な箇所へのマテリアライ
ズドビューの導入により、複雑なSQLクエリを最適化した。

  * 外部キーやCHECK制約などのデータ整合性制約を設定し、性能を損なわ
ずにデータの一貫性を確保した。

結果.
創業者の実績記録では、この業務における地理データパイプラインの50倍の
改善が報告されている。これは記録されたプロジェクトの結果であり、別の
データセットやシステムに対する保証ではない。公開された記録には、ベン
チマークに用いたデータセット、ハードウェア、比較手順の記載はない。

カテゴリー:
1データベース	/ja/categories/databases/	software.engineer.company	70
1PostgreSQL	/ja/categories/postgresql/	software.engineer.company	70
1SQL	/ja/categories/sql/	software.engineer.company	70
1データウェアハウス	/ja/categories/data-warehousing/	software.engineer.company	70
1データエンジニアリング	/ja/categories/data-engineering/	software.engineer.company	70
1データパイプライン（ETL/ELT）	/ja/categories/data-pipelines/	software.engineer.company	70
1データガバナンス	/ja/categories/data-governance/	software.engineer.company	70
1性能改善	/ja/categories/performance/	software.engineer.company	70
1GIS・地理空間情報	/ja/categories/gis/	software.engineer.company	70

サービス:
1GIS・地理空間ソリューション	/ja/services/gis-geospatial/	software.engineer.company	70
1データベース性能改善	/ja/services/database-performance/	software.engineer.company	70
1データパイプライン開発（ETL/ELT）	/ja/services/data-pipeline-development/	software.engineer.company	70
1データウェアハウス設計	/ja/services/data-warehousing/	software.engineer.company	70
1AIが使えるデータの整備	/ja/services/ai-data/	software.engineer.company	70

hこのページのウェブ版	URL:https://software.engineer.company/ja/portfolio/made-a-geographical-data-pipeline-50x-faster/	software.engineer.company	70
