AI導入の効果は何と比べるか――評価設計の出発点

たとえば、生成AIの試行を終えた会議で、利用者から「資料作成が速くなった」と報告が上がる場面を考えます。追加の利用枠を求められても、経営側には判断材料が足りません。短くなったのは同じ資料を仕上げる時間なのか、簡単な案件が増えたためなのか。使わなかった人との差を、そのまま導入効果と呼んでよいのかも不明です。

本稿は、生成AIの効果測定では、集計する指標より先に「何と何を比べるか」を決めるべきだと考えます。比較する人、仕事、完成条件をそろえ、残った違いを明示する。その手順を踏んで初めて、利用拡大の判断に使える数字になります。

公表された削減率を、自社の目標に直結させない

実運用の材料はすでにあります。サイバーエージェントは、生成AIの制作基盤「AI SCREAM」を自社事業や顧客企業の制作支援に活用し、従来手法に比べて制作時間を約30％削減したと説明しています。これは提供企業による公表値であり、独立した第三者が検証した成果としては扱えません。[1]

一方、パーソル総合研究所の調査は、生成AIで短縮できた時間の使い道として、仕事への再投入を報告しています。調査方法はインターネット定量調査です。回答に基づく利用実態と、同条件で所要時間を測った実験結果とは区別して読む必要があります。[2]

自社でも、「本人が便利と感じた」「一件の作業が短くなった」「部門の処理量が増えた」は、別々の問いとして扱いましょう。満足度は利用を続ける理由の把握に、時間の記録は工程の改善に、処理量は業務全体の成果を判断するために使います。一つの数字で三つを説明しようとしない姿勢が必要です。

最初に固定するのは、人ではなく仕事の範囲です

測定計画には、対象業務、開始点、完成条件、比較期間を書きます。「資料作成」では広すぎます。たとえば「指定された社内資料から、決まった項目を持つ説明文を作り、担当者の確認を終えるまで」という場面では、入力と受け渡す成果物の範囲まで定義できます。

続いて、通常の仕事を難易度や種類に分け、対象に含める案件を先に登録します。AIで処理しやすそうな案件だけを後から選ぶ設計は採りません。除外が必要なら、機密情報を含む、承認済みの利用環境では扱えないなど、理由と件数を残してください。対象外の業務にも同じ削減率を掛ける試算は控えるべきです。

この注意は、研究の実施過程にも表れています。METRは、開発者を対象とした追試で、AIなしで働く条件を嫌って参加しない人や、一部の仕事を試験へ提出しない人がいると報告しました。同団体は、参加者や仕事の選ばれ方に偏りがあり、得られた推定値を実際の生産性効果の指標として解釈するのは難しいとしています。[3]

日本企業の一般業務に、その研究の効果量を当てはめる必要はありません。参考にしたいのは、集計表に現れない人と仕事も確認する視点です。利用希望者だけの試行なら、結論もその参加者と対象業務の範囲にとどめます。全社員への展開を判断したいなら、習熟度の異なる担当者を含めて確かめる計画が必要でしょう。

比較方法は、知りたい問いに合わせて選びます

自己申告と導入前後の比較で分かる範囲

アンケートは、負担感や使いにくさを聞く用途に向いています。ただし、「使わなければ何分かかったか」という回答は推定として保存し、実測時間と合算しないようにします。導入効果を金額に換算する際は、アンケートの回答だけを根拠にしない方針を勧めます。

導入前後を比べる方法では、案件数、難易度、担当者、繁閑、同時期の手順変更も記録します。たとえば、資料の様式を整理した直後にAIを導入する場面では、短縮分のすべてをAIの成果とする説明は成立しません。様式変更とAIを一体の施策として評価するか、実施時期を分けるかを先に選びます。

同時期に比べるなら、割り当てと脱落を記録する

同種の案件を確保できる場合、本稿は、同じ期間にAIを使える場合と従来の方法で進める場合を比較する方法を推奨します。対象案件を先に決め、難易度や担当者の経験が片側へ偏らないように割り当てます。可能なら無作為に分け、途中でAI利用へ切り替えた案件も当初の割り当てと併せて残してください。

業務を同じ人に二度実施させる案には、最初に覚えた内容を次に使える問題があります。また、隣の担当者からAIで作った下書きを受け取れるなら、従来の条件にも影響が及びます。別の同程度の案件を使う、共有の単位でチームを分けるなど、現場で守れる比較条件を選びましょう。分けた結果、担当者の力量まで違ってしまうなら、その限界を報告に添えます。

完了した案件だけを集計するのも避けたい設計です。未完了、途中中止、記録漏れは分けて数えます。時間を比較する案件と、完成したかどうかを判断する案件を明示し、片方の条件で難しい案件が脱落していないか確認してください。

同じ仕事の短縮と、新しくできた仕事を分ける

METRは、生産性への影響を、導入前に行っていた仕事の時間短縮、導入後に選ぶ仕事の時間短縮、仕事の組み替えを含む価値の増加に分けて論じています。作業の構成が変わるため、三つの測り方が同じ結果になるとは限らない、という整理です。[4]

実務では、報告を二つに分ける案が考えられます。一つ目は、従来と同じ完成条件の仕事について、所要時間と品質を比較する報告です。二つ目は、AIを利用できるために新しく着手した仕事について、何に使われ、どんな判断に役立ったかを追う報告になります。

たとえば、従来は作らなかった説明資料を大量に作る場面では、その全量を人が作った想定時間を「削減時間」として足し上げないでください。追加資料に価値があれば、採用された提案や利用先の判断と結び付けて評価します。作成量と価値を同一視しないための区分です。

時間の記録も、担当者が手を動かした時間と、依頼から完成までの経過時間を分けましょう。測定の終点は、下書きの生成ではなく、定めた完成条件を満たした時点に置きます。短縮した人の時間を金額に換算する場合も、支出が減ったのか、別の仕事へ振り向けられる余力なのかを明記するべきです。

比較のために現場を縛りすぎない

案件が一度きりで比較可能な仕事がなく、完成条件も実施中に変わるという場合には向きません。厳密な比較を装うより、判断の経緯、成果物、要した時間を残し、次の試行で何を確かめるかに使います。

また、AIを外す条件が納期や安全上の要件と両立しない業務では、比較試験を優先すべきではありません。限られた対象で観察を続け、効果の断定を保留する選択も必要です。測定にかかる費用や記録の負担は、判断したい投資額との釣り合いを見て決めます。

顧客と企画から試作、実装、定着まで進めるForward Deployed Engineering（FDE）の進め方を採るなら、試作の開始時に比較条件も合意しておきたいところです。開発側は利用記録を、業務側は対象案件と完成条件を、経営側は拡大判断に必要な差を定めます。

実務への示唆

提言1：追加投資の前に、比較計画を一枚にまとめてください。 対象者、案件の選び方、完成条件、測定期間、除外理由、必要な改善幅を、結果を見る前に決めます。

提言2：使った案件だけでなく、使えなかった案件を数えてください。 未完了や条件の切り替えも報告し、結果を適用できる範囲を限定します。

提言3：既存業務の短縮と、新しい成果を別々に報告してください。 同じ仕事の比較で得た結果と、仕事の組み替えによる価値を分け、どの根拠で利用範囲を広げるのかを説明します。

参考資料

1. サイバーエージェント「AIクリエイティブBPOの制作基盤『AI SCREAM』を企業向けに提供開始」（2026-07-31公開、確認日：2026-09-22）
2. パーソル総合研究所「生成AIとはたらき方に関する実態調査」プレスリリース（2026-02-03公開、確認日：2026-09-22）
3. METR, We are Changing our Developer Productivity Experiment Design（2026-02-24公開、確認日：2026-09-22）
4. METR, Task Substitution and Uplift（2026-05-08公開、確認日：2026-09-22）

本記事はAIを活用して作成し、公開前に自動レビューを実施しています。情報の確認日：2026-09-22。