「正答率」だけでは決められない――AI本番化の回収時間設計

たとえば、金曜午後の判定会で「平均正答率92％」の生成AIを本番へ進めるか議論しているとします。数字は十分に見えます。ところが、残る8％の誤りを誰が見つけるのか、訂正に何分かかるのか、見逃した一件が何人の判断へ波及するのかは決まっていません。

この状態で本番化を承認するのは早計です。生成AIの合格基準は、平均正答率だけではなく、誤りを「検知し、封じ込め、正しい状態へ戻す」までの時間で決めるべきです。本稿では、この時間をまとめて「回収時間」と呼びます。

利用拡大の次に来るのは、評価の運用化です

NTTデータは、社内情報を検索する生成AIサービスを全社員向けに提供し、導入後の調査で週平均約60分の時間削減、利用継続意向89％と公表しています。いずれも同社による調査結果であり、独立検証済みの効果ではありません。[1] デジタル庁は、ガバメントAI「源内」を2025年5月から庁内運用し、2026年度には全府省庁約18万人を対象とする大規模実証で効果と課題を検証し、2027年度以降の本格導入につなげる計画です。[2]

二つの事例が示すのは、試用の可否だけを問う段階から、利用を続けながら効果と課題を捉える段階へ移っていることです。ただし、個別事例の存在は、自社の業務で同じ効果が出る根拠にはなりません。必要なのは、自社の判断と例外を反映した評価系です。

AIセーフティ・インスティテュートは2026年7月7日、「AIセーフティに関する評価観点ガイド」を第1.20版へ更新し、AIエージェント向けに「観測と制御」を追加しました。ガイドは、開発から運用開始、運用終了まで安全性を確認する考え方を示しています。[3] デジタル庁の調達・利活用ガイドライン第2.0版も、生成AIシステムのログ取得、システム監査、重大なリスクケースへの対応を扱っています。[4]

平均正答率が隠す三つの費用

同じ正答率でも、業務上の価値は同じではありません。まず分けて測るべきなのは、次の三つです。

検知時間――誤りに気づくまで

根拠リンクが切れている回答は、その場で気づけます。一方、顧客へ送った提案文の条件違いは、翌日の返信で初めて判明するかもしれません。検知が遅いほど、後続の判断や成果物へ誤りが混ざります。評価セットには、正解と不正解だけでなく、「誰が、どの手掛かりで気づけるか」を記録します。

影響範囲――発見時点で何件へ広がるか

下書き一件の誤りと、共有ナレッジへ登録された誤りでは重みが違います。外部送信、公開、台帳更新、後続処理の起動がある場合は、件数、対象者、取り消し可能性を別々に数えます。ここを一つの平均点へ畳み込むと、まれでも高損失な失敗が見えなくなります。

回収時間――正しい状態へ戻すまで

訂正文を作る時間だけでは足りません。元の入力を探す、事実を確認する、影響先を特定する、承認を取り直す、再送する、記録を直すまでが回収です。NISTのAIリスクマネジメントフレームワークは、導入前と運用中の継続的なテストに加え、障害への応答時間を安全性評価の指標に含めています。[5]

判断に使う式は、複雑である必要はありません。誤りの種類ごとに「発生件数 × 一件当たり回収時間 × 必要な専門家の単価」を置き、見逃し時の損失を別枠で確認します。精度が上がっても、高価な専門家へ確認が集中するなら、運用費は下がりません。

評価セットは「質問集」ではなく「判断台帳」にする

弱い方法は、きれいな質問と模範回答だけを並べることです。本番では入力の欠損、表記揺れ、古い添付、権限不足、例外的な顧客条件が混ざります。技術チームだけで作った評価セットは、業務担当者が日々処理している境界事例を落としがちです。

OpenAIは、業務固有の評価では目的、重要な判断点、望ましい出力と避けるべき出力を専門家と定義し、実際の状況に近い条件で測るよう提案しています。また、稼働後も実入力の出力を継続評価し、曖昧または高コストな事例を専門家へ回す運用を示しています。これはベンダーによる実務指針であり、成果保証ではありません。[6]

判断台帳には、入力、期待する処理、許容できる揺れ、誤りの種類、検知者、検知時間、影響先、回収手順、回収時間を残します。採点を大規模言語モデル（LLM）へ補助させる場合も、重大な失敗と境界事例は業務専門家が定期的に監査します。自動採点だけでは、採点基準そのものの欠陥を見逃すからです。

FDEで本番判定を三段階に分ける

Forward Deployed Engineering（FDE）では、評価を開発の最後に置きません。利用部門と開発側が同じ判断台帳を見て、次の順序で範囲を広げます。

第一段階はシャドー運用です。AIの出力を業務へ反映せず、人の処理と比較します。ここでは正答率より、誤りの種類と回収手順が記録できるかを確認します。第二段階は限定運用です。対象部署、件数、入力形式を絞り、検知時間と回収時間の上限を決めます。第三段階で、実ログから評価セットを更新し、上限内に収まる誤りだけを自動処理へ移します。

全件を人が確認する方式は導入初期には有効ですが、量が増えると確認待ちが新しいボトルネックになります。無作為抽出だけに頼る方式は、頻度が低く損失の大きい失敗を拾えません。現実的なのは、通常例の抽出監査と、高損失条件の全件確認を組み合わせることです。

処理件数が少なく、誤りの影響が限定され、担当者が通常業務の中で全件を短時間に確認できるという場合には、精緻な自動評価基盤には向きません。共有台帳と定例レビューで十分です。反対に、法的判断、医療判断、採用・与信など、誤りの影響が重大で専門資格者の個別判断を外せない場合には、回収時間が短くてもAIによる自動確定には向きません。

実務への示唆

提言1：本番判定表に三つの時間を追加してください。 正答率の横に、検知時間、封じ込めまでの時間、完全な回収までの時間を置きます。

提言2：高損失の失敗を平均から分離してください。 外部送信、公開、金銭、契約、人事に触れる処理は、発生頻度が低くても別の合格条件を設けます。

提言3：実ログを評価セットへ戻してください。 限定運用で見つかった例外を、次のリリース判定に必ず加えます。評価セットを固定したままモデルだけ更新してはいけません。

生成AIの本番化は、誤りがなくなる日を待つことではありません。誤りを見つけられること、広げないこと、業務を正しい状態へ戻せることを、運用可能な時間内で証明することです。平均正答率は入口です。承認すべきなのは、回収できる仕組みまで含めた業務です。

参考資料

1. NTTデータ「NTTデータで開発＆社内導入！社員の生産性を高める『社内生成AIサービス』とは？」（2025年1月6日）
2. デジタル庁「ガバメントAI『源内』」（確認日：2026年9月21日）
3. AIセーフティ・インスティテュート「AIセーフティに関する評価観点ガイド（第1.20版）」（2026年7月7日）
4. デジタル庁「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン（第2.0版）」（2026年6月12日）
5. NIST「AI Risk Management Framework Core」（AI RMF 1.0、確認日：2026年9月21日）
6. OpenAI「How evals drive the next chapter in AI for businesses」（2025年11月19日）

本記事はAIを活用して作成し、公開前に自動レビューを実施しています。情報の確認日：2026-09-21。