# GISデータパイプライン20本の提供を自動化

20本のGISデータパイプラインとアプリケーションデータのETL処理の提供を自動化し、インフラ自動化とレポート作成を効率化した。

2022 – 2024

状況. プラットフォームを支える多数のGISパイプラインとアプリデータのETLが、手動で提供・監視されていた。手動運用はボトルネックや不一致を生み、何より、静かな失敗に気づかず、下流のデータが誤ってから発覚する危険が常にあった。

課題. 担当者が付き添わなくてもデータが確実かつ予測どおり流れるよう、パイプラインとETLの提供を自動化することが課題だった。

行動. 20本のGISデータパイプラインとアプリデータのETLを、最初から最後まで自動提供へ移した。予定実行、ログ、失敗時の処理を標準化し、全パイプラインが同じように動き、そうでないときもわかるようにした。失敗が静かなままなのは、監視がないからだった。既存のインフラ自動化と報告にも統合し、実行を覚えておく必要のあるスクリプトの寄せ集めではなく、1つのまとまった仕組みにした。

結果. 20本すべてとそのETLが自動かつ予測どおり動き、インフラ自動化と報告の全体も整理された。人が手動で通す必要も、気づかない失敗の危険を抱える必要もなく、事業へ信頼できる最新データを届けられるようになった。

役割: DevOpsエンジニア
=> /ja/categories/data-engineering/ カテゴリー: データエンジニアリング
=> /ja/categories/data-pipelines/ カテゴリー: データパイプライン（ETL/ELT）
=> /ja/categories/devops/ カテゴリー: DevOps
=> /ja/categories/automation/ カテゴリー: 自動化・CI/CD
=> /ja/categories/reliability/ カテゴリー: 信頼性・バックアップ
=> /ja/categories/observability/ カテゴリー: 監視・オブザーバビリティ
=> /ja/categories/gis/ カテゴリー: GIS・地理空間情報
=> /ja/services/gis-geospatial/ サービス: GIS・地理空間ソリューション
=> /ja/services/data-pipeline-development/ サービス: データパイプライン開発（ETL/ELT）
=> /ja/services/devops-cicd/ サービス: DevOps・CI/CD自動化

=> https://software.engineer.company/ja/portfolio/automated-delivery-of-20-gis-data-pipelines/ このページのウェブ版
