データパイプライン(ETL/ELT)
14部門を支える共通インフラ計画
研究機関の14部門に関わるインフラ全体の枠組みを設計。柔軟なモジュール、統一されたデータパイプライン、長期的な定着を支える体系的なサポート方針を備えた。
研究機関の14部門に共通する包括的なインフラの枠組みを設計。モジュール構成、統一されたデータパイプライン、支援方針を備えた。
地理情報パイプラインを50倍に高速化
創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の改善を記録した。
創業者はUtiligizeで、PostgreSQL、MS SQL、BigQueryにまたがるSQLとデータモデルの作業により、地理データパイプラインの50倍の改善を記録している。
PostgreでGIS地図を10倍に高速化
データの切り替えを含め、データベースをMSSQLからPostgreSQLへ計画的に移行。処理とデータセキュリティを最適化し、地図アプリケーションの性能を10倍に向上させた。
MSSQLからPostgreSQLへの移行でGIS地図アプリケーションを10倍に高速化し、空間クエリを2.5秒から250 ms未満へ短縮した。
地理情報データの問題1,000件を解決
GDAL、ArcGIS、PostGIS、Mapbox、QGIS、SQL(PL/pgSQL、Transact‑SQL)、Bashを用いて地理情報・時系列データの問題1,000件を解決し、大規模データ処理の品質を確保した。
GDAL、PostGIS、ArcGIS、Mapbox、QGIS、SQLで地理情報・時系列大規模データの問題1,000件以上を解決し、クエリを35%高速化した。
ETL/ELTパイプライン6本を設計・運用
Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。
BigQuery、MSSQL、PostgreSQLのETL/ELTパイプライン6本を設計・運用し、毎日同期することで3時間の手作業を20分未満に短縮した。
GitHub ActionsでGIS SaaSのデプロイを自動化
GitHub Actions CI/CD、Python、Bash、SQLで、GIS SaaSアプリケーションのデプロイ、データ処理、レポート作成を自動化した。
GitHub Actions CI/CD、Python、Bash、SQLでGIS SaaSのデプロイ、データ処理、報告を自動化し、短く確実なリリースを実現した。
GISデータパイプライン20本の提供を自動化
20本のGISデータパイプラインとアプリケーションデータのETL処理の提供を自動化し、インフラ自動化とレポート作成を効率化した。
GISデータパイプライン20本とアプリデータのETL処理を自動化し、インフラ自動化を効率化して、信頼できる最新データを届けた。
地図製品を最初から運用まで支える
2年間にわたり、インフラ、データ処理、地図アプリケーションを設計・開発・支援し、ソフトウェアの提供と運用保守の両方を担当した。
2年間にわたりインフラ、データ処理、地図アプリケーションを設計・構築・支援し、開発成果の提供と運用保守を担った。
SQLiteエクスポートから495ページを生成
読み取り専用のSQLiteエクスポートから3言語495件の実績ページを生成し、ページのアドレスをデータとして定義することで、文章を直してもURLが変わらずリンクが切れないようにした。
495ページを1つの正本から生成し、文の訂正にアドレスの代償がなくなり、過去に公開したURLも応答し続ける。表示上の判断は、サービスをテーマ別にまとめる1点だけをexporterが持ち、他はDBに従う。見出しの訳がなければ、訳文の上に英語を出さず、エクスポートを失敗させる。