本文へ移動

地理情報パイプラインを50倍に高速化

創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の改善を記録した。

50x 地理データパイプラインの高速化

状況. 組織は大量の地理データの処理に大幅な遅延を抱えており、データに基づく意思決定と分析レポートの作成の効率に影響が出ていた。

課題. 地理データパイプラインを最適化して性能を高め、処理時間を短縮し、より効果的にリアルタイムでデータを分析できるようにすることが目標だった。

行動. PostgreSQL、MS SQL、Google Cloud BigQueryにまたがる既存のSQLプログラムとデータモデルの構造を詳しく分析したところ、非効率なインデックス戦略、不適切なクエリ設計、必要な制約の不足によるボトルネックが明らかになった。これらに対処するため、次の作業を実施した:

  • データモデルを再設計して重要なデータセットを正規化し、データ取得時間を改善するためにパーティション分割を導入した。
  • PostgreSQLのB‑treeおよびGiSTインデックス、MS SQLのフィルター付きインデックス、BigQueryのクラスタリングなど、高度なインデックス技法を適用した。
  • サブクエリの書き換え、結合処理の削減、適切な箇所へのマテリアライズドビューの導入により、複雑なSQLクエリを最適化した。
  • 外部キーやCHECK制約などのデータ整合性制約を設定し、性能を損なわずにデータの一貫性を確保した。

結果. 創業者の実績記録では、この業務における地理データパイプラインの50倍の改善が報告されている。これは記録されたプロジェクトの結果であり、別のデータセットやシステムに対する保証ではない。公開された記録には、ベンチマークに用いたデータセット、ハードウェア、比較手順の記載はない。

  • 砂漠、幹線道路
    写真: jpdvg / Pixabay
  • フランクフルト・アム・マイン、ドイツ、高速列車、駅
    写真: FrankBender / Pixabay

この経験をお客様のプロジェクトに

「地理情報パイプラインを50倍に高速化」を、お客様の組織の似た課題を考える出発点にしてください。この実績を支えたサービスを、お客様のプロジェクトにも提供できます。 船舶、車両、区画、センサーなど、場所に関わる情報を、検索・計測・共有できる地図にまとめます。

サービスを見る お問い合わせ

結果の背景を確かめる

この事例の状況、判断、結果をご覧ください。どの部分がお客様の制約の下でも生かせるか、どこに別の方法が必要かをご相談いただけます。 地理情報パイプラインを50倍に高速化 — 50x 地理データパイプラインの高速化

サービスを見る お問い合わせ

より多くの実績の 一つです — そのすべてをこのサイトで公開しています。

どの項目も、状況、課題、実施内容、変化という同じ構成で記載しています。

すべての実績を見る

必要な改善を定める

業務の流れ、既存のインターフェース、変更を必要とする利用者をお知らせください。検証可能な納品内容と、お客様のチームが保守を続けられる引き継ぎ内容を定められます。

料金を見る お問い合わせ

データパイプラインをもっと速くしたいですか?

「地理情報パイプラインを50倍に高速化」の判断の背景についてお尋ねください。仕事内容を説明し、お客様のプロジェクトを検討できる担当者が対応します。

サービスを見る
welcome@engineer.company +45 50 10 61 84 デンマーク、コペンハーゲン
創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の改善を記録した。のQRコード
このページを持ち歩くhttps://software.engineer.company/ja/portfolio/made-a-geographical-data-pipeline-50x-faster/