実行権限ゼロで集める、AIエージェントの「シャドー成績表」

テストデータでは動いたAIエージェントを、いきなり顧客通知や業務更新へつなぐのは不安です。運用責任者向けに、本番の依頼を複製して実行権限ゼロで動かし、人の判断と比較する「シャドー成績表」の作り方を紹介します。

シャドー運用で守る三つの境界

シャドー運用では、通常業務とagentへ同じ入力を渡します。ただし、業務へ採用されるのは通常業務の結果だけです。Google Cloudのトラフィックミラーリングも、同じ要求を通常サービスと検証先へ送り、利用者へ返すのは通常サービスの応答だけ、検証先は利用者へ影響しない構成を示しています。[1]

AIエージェントへ応用するときは、次の三つをコードで分けます。

• 入力の複製：受付後のデータを、同じ時点の状態で渡す
• 副作用の遮断：送信、更新、発注、削除を模擬処理へ差し替える
• 判断の分離：担当者が処理を終えるまでagentの提案を見せない

最後の分離が重要です。担当者が先にagentの提案を見ると、人の判断が比較基準ではなくなります。正解データは後から作り、開発者ではない業務責任者が差異を確認します。

コピーして使えるシャドー成績表

一件ごとに、次の項目を同じ行へ残します。

case_id: ""
input_snapshot: ""
human_action: ""
agent_proposal: ""
evidence_used: []
difference_type: exact_match | acceptable | unsafe | unverifiable
impact_if_executed: low | medium | high
missing_evidence: []
reviewer: ""
release_decision: keep_shadow | limited_release | reject

「文章が似ているか」だけではなく、業務上の行動が一致したかを判定します。OpenAIの評価ガイドも、評価目的、データセット、指標、比較、継続評価を順に設計し、本番の分布を再現しないデータや雰囲気だけの評価を避けるよう勧めています。[2]

完了条件は平均点ではありません。対象業務で起きる重要な差異を分類でき、どの権限まで開放できるかを業務責任者が説明できることです。

4段階でシャドー運用を組む

1. 正解を観測できる仕事を選ぶ

担当者が実際に行った分類、転送先、入力値などが後から残る仕事を選びます。正解が数カ月後まで分からない仕事では、短期間のシャドー成績表を作れません。

2. 外部ツールを模擬処理へ替える

読み取りは本番と同じ権限範囲にしますが、書き込みツールは「実行予定」を保存して成功を返すだけの模擬処理へ差し替えます。通知先や更新値は記録しても、実際の送信や更新はさせません。

3. 人の処理後にペアで比較する

たとえば、請求書の例外を担当部署へ振り分ける場面では、担当者が実際に選んだ転送先と、agentの提案を同じ case_id で結びます。金額の不一致を見落とした、取引先を取り違えた、根拠が不足した、といった差異の種類まで記録します。

4. 行動ごとに権限を開ける

すべての機能を一度に本番化しません。差異の影響と切り戻しやすさで、次の段階を決めます。

| 段階 | agentに許す行動 | 人の役割 |
| -- | ----------- | --------- |
| 影 | 提案を記録するだけ | 通常どおり処理する |
| 補助 | 下書き・タグ候補を表示 | 採用を選ぶ |
| 限定 | 元に戻せる更新を実行 | 実行前後を確認する |
| 拡張 | 定義済みの範囲で実行 | 例外と監査を担う |

NIST AI RMFは、AIを導入前と運用中にテストし、テストセット、指標、使用ツールを記録するとともに、導入環境に近い条件で性能や保証基準を測るよう示しています。[3] シャドー成績表は、その判断材料を本番に近い入力で残すための運用物です。

失敗しやすい三つの設計

第一は、agentの結果を担当者へ先に見せることです。第二は、成功件数だけを数え、危険な一件を平均へ埋めることです。第三は、シャドー環境だからと本番より広いデータ権限を与えることです。

正しい行動を短期間で観測できない、または元の利用目的を超えて個人データを複製するという場合には、このシャドー運用には向きません。匿名化した履歴評価や、専門家が作るシナリオ試験へ切り替えます。

明日から使える実装チェックリスト

• [ ] 一件ごとの正解を後から確認できる業務を選ぶ
• [ ] 本番入力を複製し、書き込みツールを模擬処理へ替える
• [ ] 人の処理が終わるまでagentの提案を隠す
• [ ] 一致だけでなく、差異の種類と実行時の影響を記録する
• [ ] 読み取り、提案、限定実行、拡張の順に権限を分ける
• [ ] 高影響の差異が出たときの保留条件と再試験を決める

シャドー運用の目的は、agentの正しさを証明することではありません。実行権限を与えてよい行動と、まだ人に残す行動を、実際の業務データから切り分けることです。

参考資料

1. Google Cloud: Configure advanced traffic management with Envoy — Traffic mirroring
2. OpenAI: Evaluation best practices
3. NIST AI RMF Core — Measure

本記事はAIを活用して作成し、公開前に自動レビューを実施しています。情報の確認日：2026-10-01。