合格線は平均値だけでは引けない――生成AIの揺らぎを測る反復評価

検証会で用意した質問に、生成AIが正しく答えた。担当者はその結果を表計算シートに記録し、正答率を算出します。しかし、同じ質問を翌日にもう一度入力したら、今度は重要な条件が抜けていました。一度目の結果だけを保存していれば、この揺らぎは「合格」の数字に隠れます。

生成AIの本番判定では、平均点だけでなく、同じ条件で繰り返したときのばらつきと、どの業務条件で失敗が集中するかを見なければなりません。必要なのは、モデル全体の優劣を決める学術的なベンチマークではなく、自社の業務判断を守れるかを確かめる反復評価です。

一度の正解は、能力ではなく一回の観測

たとえば、契約条項の分類を100件で評価し、92件が正解したという場面を考えます。92%という数字だけでは、同じ100件を再実行しても同程度になるのか、難しい8件だけが毎回失敗するのか、毎回違う項目を落とすのかが分かりません。これは仮想例であり、評価件数や許容水準は業務リスクに応じて決める必要があります。

NISTの「AI 800-3」は、固定した問題集合に対するベンチマーク精度と、同種の問題全体へ広げて考える一般化精度を区別しています。また、評価結果の不確かさには、問題の選び方だけでなく、LLMの非決定的なサンプリングも含まれると整理しています。[1] 一回の試行結果は、期待される性能そのものではなく、その分布から得た一つの観測です。

デジタル庁の生成AI調達・利活用ガイドライン第2.0版も、同一のテストデータを複数回入力した際の一貫性、意味が近い複数入力への一貫性、誤入力や表記揺れを含むデータでの安定動作を、ロバスト性の確認例として示しています。[2] 日本の行政では、ガバメントAI「源内」を全府省庁へ展開し、2026年度中に約18万人の政府職員が利用できる環境を目指しています。[3] 利用範囲が広がるほど、代表者が一度試して通ったという確認だけでは、入力の違いを覆えません。

揺らぎを三つに分けて測る

同一入力の反復

まず、モデル、指示文、参照データ、ツール、パラメータを固定し、同一入力を複数回実行します。記録するのは平均正答率だけではありません。必須項目が全てそろった回の割合、禁止事項に一度でも触れた件数、最悪回の結果を残します。五回中四回正しくても、誤った一回が自動送信される設計なら、業務上は合格にできない場合があります。

一方、文章表現が少し変わるだけで結論が変わる業務と、複数の適切な言い回しを許せる業務は分けます。評価対象を「全文一致」にすると、意味が正しい表現差まで失敗になります。金額、日付、分類、根拠資料、実行した操作など、業務上固定すべき要素を先に構造化して採点します。

意味を保った言い換え

次に、質問の意味を変えず、語順、敬語、略語、誤字、入力の長さを変えます。目的は、文章をきれいに直す能力ではなく、利用者ごとの表現差で業務判断が反転しないかを確かめることです。原文と変形文を同じグループにし、結論、必須根拠、拒否条件が一致するかを比べます。

ここでは、全ての言い換えへ同じ答えを返すことが正解とは限りません。情報が不足した短い質問では、推測せず確認を求める方が適切です。「同じ結論」ではなく、「同じ判断規則に従ったか」を評価します。

業務条件ごとの失敗分布

最後に、結果を全体平均へまとめず、業務条件で分けます。通常処理、例外、境界値、複数規程の衝突、参照データ不足、権限外の依頼などです。全体で高得点でも、取消期限の直前や高額案件だけで失敗が集中するなら、その用途の自動化には進めません。

NISTのAIリスク管理フレームワーク実践資料は、テスト集合、指標、評価・検証に使った道具や手順を文書化することが、測定の反復性と一貫性の基礎になるとしています。[4] 反復回数だけでなく、モデル版、実行日時、指示文、参照データの版、採点規則を一組で残します。

合格条件は平均・最悪・禁止失敗で作る

合否判定には、少なくとも三つの門を置きます。第一は平均性能で、対象業務全体の基準を満たすか。第二は最悪条件で、重要な業務群の下限を割らないか。第三は禁止失敗で、権限外操作、個人情報の露出、根拠のない確定、金額や宛先の誤りなど、発生を許せない事象がないかです。

平均値を上げるだけなら、件数の多い簡単な質問を増やす方法でも達成できます。そこで、評価票には業務群ごとの件数と結果を併記します。合否を変えるほど重要な項目には、採点者の自由裁量ではなく、判定例と不合格例を付けます。

OpenAIの公式評価ガイドは、評価目的、データセット、指標、比較、継続評価の順で設計し、変更のたびに評価を実行して非決定性の新しい事例を取り込む方法を案内しています。[5] これはベンダーの実装ガイドですが、「一度の受入試験で終わらせず、変更と運用事例を評価集合へ戻す」という進め方は、製品を問わず検討できます。

反復評価は、出力を人が読むだけで完結し、誤りをその場で訂正でき、結果が外部処理へ渡らず、同じ回答を再現する必要もないという場合には向きません。その条件では、反復基盤を整える費用が便益を上回る可能性があります。ただし、AIの出力を分類、承認、通知、登録などの後続処理へつなぐなら、最悪回と禁止失敗の確認は省けません。

実務への示唆

推奨1： 一つの質問を一度だけ採点せず、同一入力の反復、意味を保った言い換え、業務条件別の集計を分けてください。

推奨2： 平均点に加え、重要業務群の下限と、一度でも発生すれば不合格にする禁止失敗を定義してください。

推奨3： モデル版、指示文、参照データ、実行日時、採点規則を固定して記録し、何が変わった評価なのかを追跡できるようにしてください。

推奨4： FDE（Forward Deployed Engineering）では、現場が実際に迷う入力の揺れと例外を集め、失敗を評価集合へ戻します。本番判定は「何点取ったか」ではなく、「どの条件まで安定して任せられるか」を決める作業です。

参考資料

1. NIST, “Expanding the AI Evaluation Toolbox with Statistical Models”
2. デジタル庁「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン（第2.0版）」
3. デジタル庁「ガバメントAI『源内』」
4. NIST AI RMF Playbook, “Measure”
5. OpenAI, “Evaluation best practices”

本記事はAIを活用して作成し、公開前に自動レビューを実施しています。情報の確認日：2026-09-27。