データパイプライン開発(ETL/ELT)
データを必要な場所へ自動で届ける
月末に誰かが表計算ファイルをコピーしなくても、決まった時刻に必要な場所へ数値が届く仕組みをつくります。
このサービスに関する実績を抜粋してご紹介します。

写真: fotolehrling / Pixabay 
写真: wal_172619 / Pixabay
サービスを成果につなげる
「データパイプライン開発(ETL/ELT)」を事業の成果につなげましょう。技術的な作業を、それが支えるべき利用者、運用、意思決定に結び付けるお手伝いをします。 月末に誰かが表計算ファイルをコピーしなくても、決まった時刻に必要な場所へ数値が届く仕組みをつくります。
関連する実績を確かめる
このページの関連実績から、私たちの取り組み方をご確認ください。それぞれの成果の背景にある条件や、何を優先して何を見送ったかについてもお尋ねください。 14部門を支える共通インフラ計画 — 14 共通インフラ計画の対象となった研究部門
-
14部門を支える共通インフラ計画
研究機関の14部門に関わるインフラ全体の枠組みを設計。柔軟なモジュール、統一されたデータパイプライン、長期的な定着を支える体系的なサポート方針を備えた。
-
地理情報パイプラインを50倍に高速化
創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の改善を記録した。
-
地理情報データの問題1,000件を解決
GDAL、ArcGIS、PostGIS、Mapbox、QGIS、SQL(PL/pgSQL、Transact‑SQL)、Bashを用いて地理情報・時系列データの問題1,000件を解決し、大規模データ処理の品質を確保した。
-
ETL/ELTパイプライン6本を設計・運用
Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。
-
GitHub ActionsでGIS SaaSのデプロイを自動化
GitHub Actions CI/CD、Python、Bash、SQLで、GIS SaaSアプリケーションのデプロイ、データ処理、レポート作成を自動化した。
-
GISデータパイプライン20本の提供を自動化
20本のGISデータパイプラインとアプリケーションデータのETL処理の提供を自動化し、インフラ自動化とレポート作成を効率化した。
-
30件以上のGIS開発を構築からサポートまで主導
PostgreSQL、Bash、Python、JavaScript、GDAL、ArcGIS、PostGIS、Mapboxの専門知識を活用し、30件を超えるGISプロジェクトの開発・デプロイ・サポートを主導した。
-
地図製品を最初から運用まで支える
2年間にわたり、インフラ、データ処理、地図アプリケーションを設計・開発・支援し、ソフトウェアの提供と運用保守の両方を担当した。
-
SQLiteエクスポートから495ページを生成
読み取り専用のSQLiteエクスポートから3言語495件の実績ページを生成し、ページのアドレスをデータとして定義することで、文章を直してもURLが変わらずリンクが切れないようにした。

