データパイプライン(ETL/ELT)
9 件の実績
この実績に関連する提供サービス: データパイプライン開発(ETL/ELT), GIS・地理空間ソリューション, AIが使えるデータの整備, データガバナンス・品質管理, データウェアハウス設計, データベース性能改善, DevOps・CI/CD自動化 および プラットフォーム・ソリューション設計.

写真: Lsspng / Pixabay 
写真: spalla67 / Pixabay
比較できる課題を探す
ご自身の状況に近い事例をご覧ください。振り返りでは、技術名だけでは分からない、結果を導いた判断を説明しています。 14部門を支える共通インフラ計画 — 14 共通インフラ計画の対象となった研究部門
-
14部門を支える共通インフラ計画
研究機関の14部門に関わるインフラ全体の枠組みを設計。柔軟なモジュール、統一されたデータパイプライン、長期的な定着を支える体系的なサポート方針を備えた。
-
地理情報パイプラインを50倍に高速化
創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の改善を記録した。
-
PostgreSQLでGIS地図を10倍に高速化
データの切り替えを含め、データベースをMSSQLからPostgreSQLへ計画的に移行。処理とデータセキュリティを最適化し、地図アプリケーションの性能を10倍に向上させた。
-
地理情報データの問題1,000件を解決
GDAL、ArcGIS、PostGIS、Mapbox、QGIS、SQL(PL/pgSQL、Transact‑SQL)、Bashを用いて地理情報・時系列データの問題1,000件を解決し、大規模データ処理の品質を確保した。
-
ETL/ELTパイプライン6本を設計・運用
Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。
-
GitHub ActionsでGIS SaaSのデプロイを自動化
GitHub Actions CI/CD、Python、Bash、SQLで、GIS SaaSアプリケーションのデプロイ、データ処理、レポート作成を自動化した。
-
GISデータパイプライン20本の提供を自動化
20本のGISデータパイプラインとアプリケーションデータのETL処理の提供を自動化し、インフラ自動化とレポート作成を効率化した。
-
地図製品を最初から運用まで支える
2年間にわたり、インフラ、データ処理、地図アプリケーションを設計・開発・支援し、ソフトウェアの提供と運用保守の両方を担当した。
-
SQLiteエクスポートから495ページを生成
読み取り専用のSQLiteエクスポートから3言語495件の実績ページを生成し、ページのアドレスをデータとして定義することで、文章を直してもURLが変わらずリンクが切れないようにした。
この技術が必要な開発をご検討ですか? お問い合わせ.

