AI法人研修の効果測定はどうする？受講前後で見る5つの指標

研修の効果を「参加者が多かった」「満足度が高かった」だけで判断すると、実務での変化を見落とします。対象業務を一つ選び、受講前後で同じ条件を比べることが基本です。測りやすい指標と、数字の読み違いを防ぐための注意点を整理します。記録表の作り方や、結果を次の研修に生かす方法もあわせて紹介します。

測定を始める前に決める三つのこと

効果測定でつまずく原因の多くは、研修が終わってから「何を比べるか」を考え始めることです。受講前の数字がなければ、後から比べようがありません。研修の申し込みと同時に、次の三つを決めておきます。

• 対象業務：提案書の初稿、社内向け案内文、問い合わせへの返信の下書きなど、研修で扱う業務を一つか二つに絞ります。
• 比較の条件：同じ担当者が、似た種類・似た分量の仕事を、受講前と受講後に数件ずつ行う形にします。
• 測定期間：受講直後だけでなく、一か月後にもう一度確認する日をあらかじめ決めておきます。

研修評価の考え方としては、1950年代にドナルド・カークパトリック氏が考案した「カークパトリックモデル」がよく知られています。受講者の反応（レベル1）、学習の習得（レベル2）、職場での行動の変化（レベル3）、組織としての成果（レベル4）の四段階で評価する枠組みです。この記事の五つの指標は、主にレベル3とレベル4、つまり「仕事が実際に変わったか」を見るためのものです。満足度アンケートはレベル1、理解度テストはレベル2にあたり、それだけでは仕事の変化までは分かりません。

指標1：作業時間は確認・修正まで含める

AIで下書きが速くできても、事実確認や修正に時間がかかれば全体は短縮しません。依頼文の作成、AIの処理待ち、確認、修正、承認まで分けて記録します。

比較する前後の仕事の難しさが違うと数字は意味を持ちにくくなります。似た種類の案件を複数回記録し、極端な一件だけで結論を出さないようにします。

記録は分単位のおおよその時間で十分です。ストップウォッチで厳密に測ろうとすると、記録そのものが負担になって続きません。作業の区切りごとに開始と終了の時刻をメモし、後でまとめて計算する方法が現実的です。独立行政法人情報処理推進機構（IPA）の中核人材育成プログラムの受講者プロジェクトがまとめた「テキスト生成AIの導入・運用ガイドライン」でも、業務効率化の定量評価は難しい面があるとしたうえで、導入前後の残業時間の推移を参考データにすることや、アンケートで定性的に確認することが例として挙げられています。

指標2：成果物の品質

資料なら事実の誤りや読みやすさ、顧客対応なら回答の正確さや分かりやすさを見ます。仕事に応じて三つ程度の確認項目を決め、人が同じ基準でレビューします。

AIを使った結果だけを特別に厳しく見ると公平に比べられません。従来の方法で作った成果物にも同じ確認基準を適用します。

確認項目は「良い・普通・要修正」の三段階など、迷わず付けられる簡単な尺度にします。例えば提案書なら「数字と固有名詞に誤りがないか」「お客様の課題に答えているか」「上司が読んで手直しせずに済むか」の三項目です。評価する人が複数いる場合は、最初に一つの見本を全員で評価し、付け方のずれをそろえておくと結果がぶれにくくなります。

指標3：手戻りと確認負担

提出後の修正回数や、上司・専門担当者が確認に使った時間を記録します。担当者の作業が減っても、別の人の負担が増えていれば全体の改善とは言えません。

間違いの種類も記録しましょう。数字の取り違え、根拠の欠落、社内ルールとの不一致など、原因が分かれば研修内容やチェックリストを改善できます。

特に中小企業では、確認役が社長や部門長一人に集中しがちです。受講者の作業時間が半分になっても、社長の確認時間が倍になっていれば、会社全体では得をしていない可能性があります。確認する側にも、確認にかかった時間と気づいた誤りを一行ずつメモしてもらいましょう。

指標4：安全に使えたか

機密情報の入力ミス、権限設定の誤り、出典未確認の公開などを見ます。事故がなかったことだけでなく、迷ったときに相談できたか、確認手順が守られたかも重要です。

問題を報告した社員を責める運用では、隠れたミスが見えません。試行段階では困りごとを共有し、ルールを実務に合う形に直すことを重視します。

安全面の確認項目は、社内ルールと対応させて作ります。例えば「お客様の氏名や連絡先を入力しなかったか」「会社が認めたサービスとアカウントだけを使ったか」「外部に出す前に事実と出典を確認したか」です。個人情報保護委員会は2023年6月に、事業者が個人情報を含む指示文を生成AIサービスに入力する場合の注意点を公表しています。社内ルールを作る際の根拠として確認しておくと、点検項目の説明がしやすくなります。

指標5：研修後の定着

一か月後に、対象業務で何回使ったか、誰が使ったか、使わなかった理由を確認します。利用回数だけを増やすことを目的にせず、役立つ仕事に自然に組み込まれたかを見ます。

数値の結果と現場の声を合わせて判断します。効果が出た部署の手順をそのまま他部署へ移す前に、仕事と情報管理の条件が同じか確認しましょう。

使わなかった理由は、選択肢を用意して聞くと集計しやすくなります。「題材の仕事が発生しなかった」「確認に時間がかかりすぎた」「使ってよい情報か迷った」「操作が分からなかった」などです。理由によって打つ手が変わります。情報の判断に迷う人が多ければルールの説明を、操作で止まる人が多ければ短い補習を用意します。

記録表は一枚にまとめる

効果測定の記録は、一件の仕事を一行とした一枚の表にまとめるのが最も続けやすい方法です。五つの指標をばらばらの書類で集めると、比べるときに手間がかかります。表計算ソフトの一枚のシートに、一件の仕事を一行として記録する形がおすすめです。列は次のような項目にします。

「案件の難しさ」の列があると、受講後の仕事がたまたま簡単だっただけなのかを後から見分けられます。記録する件数は、受講前・受講後でそれぞれ三件以上を目安にします。

数字の読み違いを防ぐ注意点

記録がそろっても、読み方を誤ると判断を誤ります。よくある読み違いは次の三つです。

• 慣れによる短縮：同じ種類の仕事を繰り返すだけでも速くなります。AIの効果か慣れの効果かを分けるため、可能なら研修を受けていない同じ部署の人の数字も参考に見ます。
• 選ばれた案件の偏り：受講後に、AIが得意そうな仕事だけを選んで記録すると、効果が大きく見えます。対象業務の案件は、選り好みせず発生順に記録します。
• 少ない件数での断定：三件程度の比較は、方向性をつかむための材料です。「全社で何割短縮」と言い切らず、試行の結果として扱います。

社内での広がりを見る指標として、前述のIPAの資料では、新しい商品が普及する過程を分析したイノベーター理論を引き、社内普及率がおよそ16%に達するかを一つの目安にする考え方が紹介されています。ただし、少人数の会社では一人の増減で割合が大きく動くため、割合よりも「誰がどの仕事で使い続けているか」を見る方が実態に合います。

業務に当てはめた例

提案書の初稿作成を対象にするなら、研修前の三件と研修後の三件で、下書き、事実確認、修正、承認に使った時間を分けて記録します。同時に、数字の誤り、顧客への説明の分かりやすさ、上司の修正回数を同じ基準で評価します。案件の難しさが異なる場合は単純平均で優劣を決めず、条件を注記します。

結果を見る順番も決めておきます。最初に安全面で問題がなかったかを確認し、次に品質が下がっていないか、その次に確認者を含めた合計時間を見ます。時間だけが短くなり品質が下がっていれば、確認手順を足して再度試します。結果の要点は「何が良くなり、何が課題で、次に何を変えるか」の三行にまとめ、社内で共有します。

確認チェックリスト

• 測定する業務と比較の条件を研修前に決める
• 同じ種類の仕事を比べる
• 下書き以外の確認時間も測る
• 品質の評価基準を先に決める
• 他部署の確認負担を含める
• 案件の難しさを記録に残す
• 一か月後の継続状況を確認する

結果を次の研修にどう生かすか

測定結果は、次の研修内容と社内ルールの見直しに使います。効果測定は、研修の合否を決めるためだけのものではありません。前述のIPAの資料でも、利用者から導入効果・改善点・質問事項を集め、社内の利活用ルールや教育内容の見直しに反映することが挙げられています。

例えば、確認時間が長かった原因が「数字の取り違え」なら、次回の研修に数字の確認方法の演習を加えます。「使ってよい情報か迷った」という声が多ければ、具体例を増やしたルール表を配ります。効果が大きかった指示文や手順は、社内の手順書に追加して、受講していない社員にも共有します。こうして測定と研修の見直しを繰り返すことで、研修が一回きりの行事で終わらなくなります。研修後の一か月の進め方は「AI研修をしても社内に定着しない理由｜研修後30日の実行計画」で詳しく紹介しています。

よくある質問

満足度アンケートは不要ですか？

受講体験を改善する材料として役立ちます。ただし、業務成果の代わりにはならないため、実務での試行結果と合わせて見ます。

効果が出なかったら失敗ですか？

題材の選び方や確認負担など、改善点が分かれば次の判断に役立ちます。AIを使わない方がよい仕事を見つけることも成果です。

AI研修の効果測定で、現場の記録の負担を減らすには？

記録する項目を最小限にし、期間を一か月程度に区切るのが基本です。社員には、評価のためではなく、仕事の進め方を良くするための記録だと伝えると協力を得やすくなります。

AI法人研修の効果測定は、研修会社に任せられますか？

受講者アンケートや理解度テストは研修会社が用意できることが多い一方、仕事の変化の記録は社内でしか取れません。依頼前に、測定の設計や記録表の作成まで支援してもらえるかを確認しましょう。比較の観点は「AI法人研修の選び方」も参考になります。

まとめ

AI法人研修の効果は、作業時間、品質、手戻りと確認負担、安全性、定着の五つを、受講前後の同じ条件で比べて確かめます。測定する業務と比較の条件は研修前に決め、記録は一枚の表にまとめます。数字は小さな試行の結果として読み、分かった課題を次の研修やルールの見直しにつなげてください。

研修を検討している方は、AI法人研修のご案内もご覧ください。

参考資料

• Kirkpatrick Partners：The Kirkpatrick Model（英語）
• IPA：テキスト生成AIの導入・運用ガイドライン（中核人材育成プログラム 2024年7月）
• 個人情報保護委員会：生成AIサービスの利用に関する注意喚起等について