アウトプットの数はゴールではない。AIの効果をどこで測るか|株式会社100
連載|AIを業務で使い続けるための条件
2026/10/15

アウトプットの数はゴールではない。AIの効果をどこで測るか

デンマークで、生成AIのチャットボットの影響を受けやすい11の職種について、各回約2万5,000人への調査を国の行政記録とつないで分析した研究があります。働く人はAIで生産性が上がったと答えていましたが、2024年末までのデータでは、AIを使い始めた人と比較可能な非利用者の間で、収入や記録上の労働時間の変化に、統計的に有意な差は検出されませんでした。作業が速くなったという実感と、それによって顧客や会社の数字が変わったかは、分けて確かめる必要があります。AIを使った回数や、AIで作った文書の数も、作業の側を見る数字です。

では、AIのアウトプットの数ではなく、どこでAIの効果を測ればよいのか。何をゴールにし、段階ごとに何を確かめるかを、架空の研修会社の例を使って、株式会社100の考え方として整理します。

AIで生産性が上がったと答えた人も、収入と労働時間の変化に有意な差は検出されなかった

米シカゴ大学とデンマークのコペンハーゲン大学の研究者は、デンマーク統計局と協力して、生成AIのチャットボットの影響を受けやすい11の職種で、2023年と2024年に大規模な調査を行い、国の行政記録(収入や労働時間の記録)とつなげて分析しました。

対象は、会計、顧客サポート、人事、マーケティング、ソフトウェア開発、教員などの職種で、調査ごとに約2万5,000人から有効な回答を得ています。全米経済研究所(NBER)が公開しているワーキングペーパー(学術誌に掲載される前の論文)の2026年3月改訂版です。

研究によると、対象の職種では大半の雇用主がチャットボットの導入に取り組み、AIの利用者は、生産性が上がったと答えていました。一方、2024年末までのデータでは、AIを使い始めた人と比較可能な非利用者の間で、収入や記録上の労働時間の変化に、統計的に有意な差は検出されませんでした。

毎日使う人や、生産性が大きく上がったと答えた人に絞っても、同じでした。

変わっていたのは仕事の中身です。雇用主は、AIを使う前提で仕事の割り振りを組み直しており、文章の下書きやアイデア出し、AIの出力の確認、AIを業務に組み込む作業などが新しく加わっていました。

なお、これはデンマークの11職種を対象とした初期の結果で、将来やほかの国でも影響がないことを示すものではありません。また、この研究が測ったのは働く人の収入と労働時間で、会社の売上や仕事の質は測っていません。

アウトプットの数と、顧客に起きる変化を、5つの段階に分けて決める

HubSpotの導入や、CRMとAIを業務に組み込む支援をしている株式会社100は、業務でAIを使い始めるときは、作業の速さと、それによって起きる変化を分けて確かめられるように、AI導入プロジェクトの結果を次の5つの段階に分けて決めるのがよいと考えています。

  • 活動:担当者がAIに作業を頼み、結果を確かめること
  • アウトプット:活動で作ったもの(AIと担当者が作った文書や画面など)
  • 業務の変化:アウトプットを使ったことで変わった、担当者の仕事の進め方
  • 顧客の成果:顧客ができるようになったこと
  • 事業の成果:受注や売上など、会社の数字

活動とアウトプットは、AIを使い始めてすぐに確かめられますが、それだけでは、業務の変化や顧客の成果、事業の成果は分かりません。

AIを使った回数や作った文書の数は、AIが使われているかを確かめる材料にとどめます。効果は、アウトプットを誰が使い、その人のどの行動が変わったかで確かめます。

AI導入プロジェクトで、誰の何が良くなれば成功かを、ここでは目指す結果(ゴール)と呼びます。

目指す結果は、業務の変化・顧客の成果・事業の成果のどれかから選び(活動とアウトプットは目指す結果にしません)、その仕事のやり方を変える権限を持つ人と一緒に決めます。AIの導入を進める担当者だけで決めると、AIを使える環境は整っても、日々の仕事のやり方は変わらないことがあるからです。

架空の研修会社の例:効果を測る数字を、準備メモの件数から5つの段階の表に変えた

例として、法人研修を提供する「アルテラ・キャリア株式会社」を考えます(説明のために作った架空の会社で、社名は仮に付けたものです。実在の会社とは関係ありません)。

アルテラ・キャリアは、研修の問い合わせから初回面談までの準備にAIを使い、面談前の準備メモを作らせることにしました。まずは本格導入の前に、対象の仕事と期間を限って使い、効果と問題を確かめる試験導入を計画しました。

ここで取り上げるのは、この連載の1本目の記事で紹介した面談より前の、試験導入を計画した段階の話です。

AIの導入担当者は、効果を測る数字として、最初はAIが作った準備メモの件数を考えていました。毎日集計でき、増えていれば試験導入がうまくいっていると説明しやすい数字です。

ところが営業担当者に相談すると、「件数が増えても、読まなかったり、毎回書き直したりしていたら、面談は変わりませんよ」と返されました。

そこで導入担当者は、件数より先に業務の変化を確かめることにしました。

アルテラ・キャリアの面談の準備に当てはめると、営業担当者がAIに準備メモを頼むのが活動、AIが作った準備メモと質問の案がアウトプットです。そのメモを使って面談の進め方が変われば業務の変化、顧客が研修を実施するか見送るかを判断できれば顧客の成果、受注につながれば事業の成果に当たります。

営業部長と決めた目指す結果をもとに、段階ごとに確かめることと、その段階だけでは分からないことを並べると、次のようになります。

段階この段階で確かめることこの段階だけでは分からないこと
活動(AIに準備メモを頼む)担当者がAIに準備メモを頼み、中身を確かめたかメモの質や、面談で使われたか
アウトプット(準備メモと質問の案)出どころをたどれる準備メモと、足りない情報を聞く質問の案ができたか顧客の状況に沿った話ができるか
業務の変化(面談の進め方)面談で、顧客の課題と、予算を誰がいつ承認するかをつかみ、次の行動(誰が、いつまでに、何をするか)を合意できたかその後の商談や受注
顧客の成果(顧客の判断)顧客が、課題と、予算や時期などの事情を整理して、研修を実施するか見送るかを判断できたか研修会社の希望どおりの契約になるか
事業の成果(受注)自社の研修で課題を解決できる顧客との商談が進み、受注につながったかAI以外の要因(価格・競合・予算の時期)の影響

初回面談で確かめるのは、次の行動の合意

アルテラ・キャリアがAI導入プロジェクト全体で目指すのは、このうち顧客の成果の段階です。顧客が判断するのは面談のあとになることが多く、面談の場では確かめられません。

そこで、初回面談で確かめる目指す結果は、1つ前の業務の変化の段階にある「面談の終わりに、顧客と次の行動を合意できていること」にしました。次の行動は、提案を受けて検討する、社内で検討を続ける、今回は見送る、のどれでもかまいません。

ただし、社内で検討を続ける場合も、誰が、いつまでに、何を確かめ、いつ次に連絡を取るかまで決めます。「また連絡します」で終わった面談は、次の行動を合意できたことに数えません。

合意した次の行動と、顧客が挙げた理由を記録し、その後のやり取りで、顧客が判断できたかを確かめます。AIの効果は、面談の総数に対する、次の行動を合意できた面談の割合を、AIを使う前の面談や、条件の近い面談と比べて確かめます。

1本目の記事で紹介した初回面談の目指す結果は、このようにして決めたものです。

今回の試験導入では、受注や面談件数だけで成否を判断しない

受注は、事業の成果の段階で確かめます。営業部長は、受注と面談の数を毎月確認しますが、今回の試験導入がうまくいったかは、受注や面談の件数だけでは判断しないと決めました。

商談が早く進むこと自体は歓迎します。避けたいのは、件数を増やそうとして、判断の材料がそろっていない顧客にまで面談や提案を勧めることです。

件数が少なければ、担当者が使えない理由を調べる手がかりになるので、準備メモの件数も記録します。

面談の前にメモが読まれなかった件も記録します。読まれなかった理由がメモの長さなら書き方を、開く場所が分かりにくいなら画面を、内容を信用できないならAIが読む記録や根拠の示し方を直すことになるからです。

前の段階ができても、次の段階に進むとは限らない

5つの段階は、前の段階ができれば、次の段階も自然にできるものではありません。たとえば、準備メモができても、担当者が面談で使わなければ、面談の進め方は変わりません。

面談で顧客の課題をつかめても、その課題に応える研修を自社で用意できなければ、受注にはつながりません。そのため、段階ごとに、次の段階に進めたかを確かめます。

各段階で分かったことは、試験導入を継続するか、修正するか、中止するかを判断する材料にします。

自社でAIを使う仕事で、5つの段階ごとに確かめることを決めておく

自社でAIを使う仕事を1つ選び、次の5つを決めておきます。

  • 活動:AIに何を頼み、誰が確認するか
  • アウトプット:何ができあがるか
  • 業務の変化:アウトプットを使って、担当者のどの行動が変わってほしいか
  • 顧客の成果:顧客が何をできるようになってほしいか
  • 事業の成果:最後に見る会社の数字は何か

それぞれに、「この段階だけでは分からないこと」を1つずつ添えます。今の報告で使っている数字が、どの段階のものかも確かめます。

すべての数字が活動とアウトプットの段階に集まっていれば、目指す結果がまだ決まっていない可能性があります。書き終えたら、その仕事のやり方を変える権限を持つ人と一緒に、AI導入プロジェクト全体で目指す段階と、面談1件のような仕事1件ごとに確かめる段階を決めます。

まとめ

AI導入プロジェクトを始める前に、どの段階を目指す結果にするかを決めておけば、アウトプットの数が増えたときにも、目指す結果に近づいたかどうかで、うまくいっているかを判断できます。

株式会社100は、CRMとAIを業務に組み込む実務を、
毎週木曜のメールマガジン「HUBSHOT」でお届けしています。

メールマガジンに登録する
田村 慶

田村 慶

株式会社100 代表取締役

2005年に株式会社24-7を創業し、2012年からHubSpot事業に取り組む。2018年に株式会社100を創業。日本唯一のHubSpot Eliteパートナーであり、日本初のLovable公式パートナーである同社を率いる。HubSpotとLovableを組み合わせ、AI時代のGTM戦略から仕組みの構築、運用改善まで支援している。

『HubSpot大百科』の著者。HubSpot公式トレーナーや、HubSpotユーザーグループの主催者として、HubSpot利用者の交流や学びの場づくりに取り組む。
HubSpot社とAIに関する提言や議論を行うHubSpot AI PACメンバー。
2026年10月、Lovableアンバサダープログラムの東京「City Lead」に就任。

出典

  • Anders Humlum, Emilie Vestergaard「Still Waters, Rapid Currents: Early Labor Market Transformation under Generative AI」NBER Working Paper 33777、2025年5月公開・2026年3月改訂(https://www.nber.org/papers/w33777)。デンマークの11職種で2023年と2024年に行った調査(各回約2万5,000人の有効回答)と行政記録をつないだ分析で、観測は2024年末まで
  • アルテラ・キャリアの例:株式会社100が説明のために作った架空の会社で、社名は仮に付けたものです。実在の会社や顧客事例とは関係ありません