誤送信・誤更新を広げない「30分対応カード」
AIエージェントの誤送信や誤更新に気づいた担当者が、最初の30分で迷わないための手順をまとめます。目的は原因究明を終えることではなく、被害を止め、後から事実を再現できる状態を作ることです。
最初の30分は「修正」より「封じ込め」
初動責任者は、対象業務を止める権限を持つインシデント指揮者です。開発、業務、セキュリティの連絡先を事前に決めておきます。
NIST SP 800-61 Rev.3は、インシデント対応を組織全体のサイバーリスク管理へ組み込む考え方を示しています。[1]
発見直後にプロンプトやモデルを変えると、再現が難しくなります。先に危険な出口を止め、実行時の状態を保存します。
コピーして使う30分対応カード
以下を運用手順書に貼り、空欄を自社用に置き換えてください。
incident_card:
commander: ""
detected_at: ""
affected_workflow: ""
dangerous_tools: []
containment_action: ""
evidence_location: ""
confirmed_side_effects: []
unknowns: []
reopen_owner: ""
reopen_criteria: []0〜5分：危険な出口だけを止める
- 新規ジョブの受付を止めます。
- 送信、更新、削除、支払いなど書き込み系ツールを無効化します。
- 実行中ジョブを一時停止し、ジョブIDを記録します。
全サービスではなく、危険な操作経路を狭く切ります。認可や監査ログを確認できない場合に処理を拒否する「fail closed」と、中断・ロールバックの仕組みはOWASPも推奨しています。[2]
5〜15分：変更前の証拠を凍結する
次の項目を一つのインシデントIDにひも付けて保存します。
- 入力、取得文書ID、ジョブ・trace ID
- エージェント、モデル、プロンプト、権限の版
- ツール、引数、戻り値、時刻
- 承認記録と実際の外部操作
- 失敗、再試行、handoff、guardrail
OpenAIのtraceは、一回の実行に含まれるモデル、ツール、guardrail、handoffを記録します。[3] 他製品でも同じ単位を相関IDで追います。OWASPは「いつ・どこで・誰が・何を」を残し、ログを改ざんや不正削除から守るよう案内しています。[4]
15〜25分：影響を確定する
外部に生じた副作用を確認します。
| 確認対象 | 見る場所 | 判定 |
|---|---|---|
| メール・通知 | 送信サービスの配信記録 | 宛先、本文、添付、配信結果 |
| データ更新 | DB監査ログ | 対象行、変更前後、実行主体 |
| 外部API | API gateway・連携先 | endpoint、引数、応答、再試行 |
| 記憶・検索 | memory・索引の更新履歴 | 後続実行へ残る内容の有無 |
不明な項目は「問題なし」にせず、unknownsへ残します。根拠は外部システムの記録です。
25〜30分：暫定判断を固定する
指揮者が隔離継続、ロールバック、資格情報の失効、連絡先を決めます。推測と事実を分け、次の更新時刻を記録します。
誤送信で手順を通す
たとえば、請求書送付エージェントが別取引先へ添付を送ったとします。送信ツールと新規ジョブを止め、trace、顧客情報、生成された宛先、承認記録を保存します。
メール基盤で実際の宛先と添付を確認し、宛先がモデル出力か顧客マスターかを切り分けます。同じ版・経路のジョブも検索し、資格情報の漏えいが疑われる場合は連携トークンを失効させます。
再開条件は、誤った宛先を拒否するテスト、最小権限、承認画面の宛先・添付表示、限定ジョブでの副作用なし、の四点です。
失敗しやすい初動と境界
- 先に修正する：証拠と再現条件を失います。
- ログを大量に共有する：個人情報や秘密を二次拡散させます。
- モデルの説明を事実とみなす：外部システムの記録で確かめます。
- 一人で停止を解除する：業務責任者も再開を判断します。
このカードは技術的な初動用です。個人情報漏えい、金銭損失、報告義務まで、このカードだけで判断を完結させるという場合には向きません。疑いがあれば、セキュリティ、法務、広報の手順へ接続します。
明日から使える再開チェックリスト
- [ ] 書き込み系ツールを個別に停止できる
- [ ] 一回の実行を相関IDで追える
- [ ] 入力、取得情報、ツール引数、結果、承認を保存できる
- [ ] ログの閲覧権限と保存先が決まっている
- [ ] 外部システムで副作用を照合した
- [ ]
unknownsが空か、責任者と期限が付いている - [ ] 再発ケースをテストへ追加した
- [ ] 業務責任者と技術責任者が再開を承認した
- [ ] 限定再開から通常運転へ戻す条件がある
明日は一つのエージェントで、書き込みツールの停止とtraceの保存先を確認してください。訓練でカードに空欄が残れば、そこが先に直すべき運用です。
参考資料
- NIST SP 800-61 Rev. 3: Incident Response Recommendations and Considerations for Cybersecurity Risk Management
- OWASP Cheat Sheet Series: AI Agent Security
- OpenAI API: Evaluate agent workflows
- OWASP Cheat Sheet Series: Logging
本記事はAIを活用して作成し、公開前に自動レビューを実施しています。情報の確認日：2026-10-03。
著者
ELYSAI編集部