# 独自のエラー監視・トレースを構築

ペイロードの無害化、急増・再発の検知、シンボル解決、擬似ハートビートを備える独自のエラー監視とOpenTelemetryトレースを外部購入せず構築し、11画面の運用ビューから扱えるようにした。

2025

状況. プラットフォームが起動していることと、機能していることの差は、誰かが問題に気づけるかだった。夜11時、誰もテストしないページで利用者が遭うエラーは、収集する仕組みがなければ見えない。外部のエラー追跡サービスを買うのは良い解決だが、エラー、スタック、利用者の文脈が第三者へ渡ることも意味した。

課題. 内部情報を外に出さず、エラーとトレースを収集・分類し、対応可能にする必要があった。

行動. 2つの仕組みを構築した。OTLP経由のOpenTelemetryで、遅い要求を画面、API、DBにまたがって推測でなく追跡する。独自のerrmon・取り込みサービスは、保存前に内容を無害化し、単なる一覧でなく反復する問題に分類し、急増・再発を検出する。同じ不良リリースで40回呼び出さないよう間隔を制限し、縮小済みの画面スタックを元コードへシンボル解決し、監視経路自体の稼働を擬似ハートビートで確かめる。エラーイベント、グループ、受信箱、API遅延、スタック標本をDBに記録し、サービスレベル目標を含む11の運用画面に表示した。

結果. エラーを順に対処できる待ち行列に変え、再発は利用者の発見を待たず通知されるようになった。購入ならその午後に動いたはずの追跡を自作するには時間がかかり、保守対象も増えた。その代わり、機微な情報を外へ出さず、汎用でなくこの基盤に合う警報規則を得た。

役割: サイト信頼性エンジニア
=> /ja/categories/backend/ カテゴリー: バックエンド開発
=> /ja/categories/devops/ カテゴリー: DevOps
=> /ja/categories/infrastructure/ カテゴリー: インフラ
=> /ja/categories/reliability/ カテゴリー: 信頼性・バックアップ
=> /ja/categories/observability/ カテゴリー: 監視・オブザーバビリティ
=> /ja/categories/security/ カテゴリー: セキュリティ
=> /ja/services/backend-development/ サービス: バックエンド・API開発
=> /ja/services/devops-cicd/ サービス: DevOps・CI/CD自動化
=> /ja/services/site-reliability/ サービス: サイト信頼性・監視
=> /ja/services/ai-agents/ サービス: 専用AIエージェント開発

=> https://software.engineer.company/ja/portfolio/built-first-party-error-monitoring-and-tracing/ このページのウェブ版
