事業に合うデータの置き場をつくる
実際の業務に合った構造を設計し、将来必要になる問いにも答えられるようにします。
ETL/ELTパイプライン6本を設計・運用
Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。
BigQuery、MSSQL、PostgreSQLのETL/ELTパイプライン6本を設計・運用し、毎日同期することで3時間の手作業を20分未満に短縮した。
Postgre・MS SQL・BigQueryのデータウェアハウス100個を運用
主にGIS・時系列データを扱うPostgreSQL、MS SQL、Google BigQueryのデータウェアハウス100個を設計・構築・管理し、性能と拡張性を最適化した。
GIS・時系列データ用のPostgreSQL、MS SQL、BigQueryデータウェアハウス100個を設計・運用し、クエリ時間を40–60%削減した。
システムの境界を明確にした海事プラットフォーム
Next.jsのPWAフロントエンド、Go(Huma/Fiber)API、PostgreSQL関数層を分離し、業務ロジックをすべてデータベースに置く、多層の海事プラットフォームを設計した。
Next.js PWA、Go(Huma/Fiber)API、業務ロジックをすべて収めるPostgreSQL関数層からなる多層の海事プラットフォームを設計した。
PostgresからAPIへのJSONパススルーを設計
PostgreSQL関数が完成したJSONを返し、Go APIがそのまま転送するJSONパススルー構成を設計。中間のアンマーシャリングをなくし、フロントエンドをスキーマ変更から切り離した。
PostgreSQL関数が返す完成したJSONをGo APIがそのまま転送する仕組みを設計し、フロントエンドをスキーマから切り離した。
Postgre関数中心のデータ層を設計
34スキーマにまたがる1,275個のストアド関数を持つ、PostgreSQL関数中心のデータ層を設計。すべての読み書きをテーブル直接操作ではなく、データベースで実行権限を付与できる関数経由にした。
34スキーマ・1,275個のストアド関数を持つPostgreSQL関数中心のデータ層を設計し、データベース自体でアクセス境界を適用した。
カタログに基づくディープマージを実装
保存済みJSON設定にカタログに基づくディープマージを実装し、スキーマ変更時のキー欠落によるクラッシュを防いだ。
保存済みJSON設定にカタログに基づくディープマージを実装し、スキーマの発展に伴うキー欠落のクラッシュを防いだ。
34のPostgresスキーマに348テーブルをモデル化
専門家、企業、船舶、求人、レビューなどの海事領域を、34個のPostgreSQLスキーマ内の348個の正規化テーブルにモデル化し、SMALLINTの参照値とUUID v7キーを用いた。
海事領域を34個のPostgreSQLスキーマと348個の正規化テーブルにモデル化し、SMALLINT参照、UUID v7、統一命名を採用した。
Stripe・アプリ内購入の利用権限を構築
StripeとApple・Googleのアプリ内購入に対応する決済・利用権限層を構築し、サーバーで検証する11テーブルのアクセスモデルによって、一覧、検索、エクスポートの利用を制御した。
StripeとApple・Googleのアプリ内購入に対応する決済・利用権限層を構築し、アクセスモデルで一覧、検索、エクスポートを制御した。
遅い処理をRiverジョブキューへ移行
時間のかかる処理をリクエスト経路からRiverジョブキューへ移し、15個のワーカーモジュール、8件の定期タスク、20件のpg_cronジョブにより、背後の作業が続く間も応答を返せるようにした。
遅い処理をRiverキューへ移し、15ワーカーモジュール、8定期タスク、20件のpg_cron保守ジョブでリクエスト経路を軽くした。
ロイヤルティ残高、リーグ、バッジを構築
31テーブルの台帳と67個の関数に、リーグ、バッジ、特典交換ショップを備えるロイヤルティ・評判システムを構築し、残高の行ロックで二重使用の発生余地を塞いだ。
31テーブルの台帳と67関数にリーグ、バッジ、ショップを備えるロイヤルティ・評判システムを構築し、残高を行ロックで保護した。
採用と船員キャリアの管理画面を構築
採用と船員の経歴管理の作業領域を構築。記録された実装時点では、求人、応募、資格証明、職位の昇進、乗船期間を扱う48テーブルと151のストアド関数を含む。
採用業務と船員の経歴管理のためのワークスペースを構築した。記録された実装スナップショットでは、48テーブルと151関数という構成だった。
データベース駆動の履歴書生成器を構築
19段階の冪等な処理で組み立てる23テーブルのSQLiteデータを単一の情報源として、6形式を出力する、データベース駆動の履歴書・推薦状・実績集・応募書類生成器をPythonの41モジュール、10,580行で構築した。
1つのDBから6形式・3言語・5テーマが生まれ、文は一度訂正すれば済む。代償は、この仕組みだけが文書を作る手段になり、急いで開いて編集するファイルがなくなること、言語を追加するときは構築前に全体へ配線する必要があることだった。