プロジェクトマネージャ 2025年 午後1 問01

　Q予備校では習熟度テストを実施して生徒の理解度を測定し、生徒自身に理解不足の箇所を認識させ、再学習をさせている。また、理解不足の箇所を中心に講師が個別指導を行い、生徒の理解度を高める仕組みを取り入れている。 　習熟度テストには、生徒が自身の表現で解答を記述する問題がある。全ての講師が自身の担当する教材・領域におけるこのような問題の問題作成者となって、問題及び採点基準を作成し、採点専門のアルバイト（以下、採点者という）が採点基準を適用して答案を採点する。採点者は全ての答案の採点終了後、自身では採点基準の適用ができず採点できなかった答案を講師に引き渡す。講師は、採点基準をより適正なものにするための、採点基準を具体化したり解釈を付け加えたりする情報（以下、補足情報という）を追加して、採点者が採点できなかった答案の採点を確定する。近年、この補足情報を追加し採点を確定する作業が多発して作業負荷が高まり、講師は個別指導の時間を十分に取れない状況になっている。 　また、再学習及び個別指導は生徒の理解度を正確に測定することが前提となるので、適正な採点基準を作成すること、及び採点基準を理解し多数の答案に採点基準を適用できる採点の経験値の高い採点者を確保することによって、高い採点の信頼性を保つことが重要である。 　講師からは、採点基準作成の経験値が低いと正確性が担保された適正な採点基準を作成することは難しいという意見がある。また、採点者から採点基準の適用ができない答案を引き渡される際に、採点基準をより適正なものにする補足情報の候補も併せて提示してもらえれば、それを参考に補足情報を追加できるので講師の作業負荷を軽減できるという意見もある。しかしながら、アルバイトであり、採点基準作成の経験のない採点者に、補足情報の候補の提示は期待できないとの意見もある。採点者からは、採点基準が適正でない場合や自身の採点の経験値が低い場合は、採点基準の適用ができない答案が増えるとの意見がある。 　以上から、Q予備校の経営陣は生徒の理解度を高める仕組みを適切に運用するために、“高い採点の信頼性を保つこと”と“講師の作業負荷を減らすこと”とを両立させることが課題であると考えている。 　経営陣は、適正な採点基準の作成及び採点の支援に大規模言語モデル（Large Language Models）の生成AI（以下、生成AIという）を活用したシステムを導入することによって、これらの課題を解決でき、さらに、採点者を不要にできるのではないかと考え、システム部のR課長と教務部のS課長に生成AIを活用したシステムの導入可能性を調査することを指示した。 　 〔生成AIを活用したシステムの導入可能性の調査結果〕 　R課長とS課長が、生成AIを活用したシステムの導入支援ベンダーK社のサポートを受けて調査した結果、次のことが分かった。 　・過去の習熟度テストの問題と採点基準などから正確性・多様性・網羅性が担保された初期の学習データを用意して生成AIに学習させると、生成AIは生徒の答案などから採点基準をより適正なものにする補足情報を生成できる。 　・講師がこの補足情報を精査の上追加することによって、生成AIによる採点は過去の採点と同等以上の採点の信頼性を保てる。 　・システム稼働後にも新たな適切な学習データを用意して生成AIに追加で学習させることによって、継続的に採点の信頼性を高められる。 　R課長とS課長から報告を受けた経営陣は、生成AIの導入に前向きであった。ただし、一部の役員は、高い採点の信頼性を保てなくなるような事態が起きると、生徒の理解度を高められないだけではなく、Q予備校を信頼できなくなった生徒が退校することを懸念し、生成AIの導入は時期尚早という意見であった。また多くの講師は、採点基準をより適正なものにする補足情報を生成したり、過去の採点と同等以上の採点の信頼性を保てたりする生成AIの効果に納得していないので、今のやり方に固執する可能性がある。 　この調査結果を受けてQ予備校は、①採点の信頼性を過去の採点と同等以上にすること、及び講師の作業負荷をこれまでより軽減することをプロジェクト目標として、K社のサポートを受け、生成AIを活用した補足情報作成や採点を支援するシステム（以下、採点支援システムという）の開発・導入・運用・保守を行うプロジェクト（以下、本プロジェクトという）の立ち上げを決定した。プロジェクトマネージャ（PM）に任命されたR課長は、経営陣の懸念を払拭し、目標の達成を目指すプロジェクト計画の作成に着手した。 　 〔プロジェクト計画の作成方針〕 　R課長は調査結果から、本プロジェクトは生成AIを活用する点で、Q予備校でこれまで主だったSaaS導入プロジェクトとは、作業の内容や進め方などに大きな違いがあると考えた。そこで、プロジェクト計画の作成に先立ち、K社のサポートも受けてプロジェクトに関わる各プロセスにおける作業の違いを表1にまとめた。

　R課長は、これまでのQ予備校のSaaS導入プロジェクトの計画を参照しつつ、プロジェクトに関わる作業の違いと生成AIの導入可能性の調査結果を踏まえて、プロジェクト計画を次の方針で作成することにした。 　・開発・導入プロセスでは、採点基準作成の経験値の高い講師が、習熟度テストの問題と採点基準、補足情報、答案、採点結果から生成AIに学習させる初期の学習データを用意する。 　・その上で、開発・導入プロセスでは、K社が初期の学習データを生成AIに学習させることによって、処理品質を一定以上に向上させる。その後、全ての講師が参加する効果検証テストを実施する。具体的には、補足情報を精査の上追加することによって、過去の採点と同等以上の採点の信頼性になるかどうかの検証を行う。 　・効果検証テストでは、講師の作業負荷軽減の効果も検証する。 　・システム稼働後も、継続的に採点の信頼性を高められるように、全ての講師が関わる体制となる運用・保守プロセスを設計する。具体的には、全ての講師が、正確性を担保した新たな学習データを用意し、生成AIに追加で学習させる。 　・プロジェクト目標の達成見通しを経営陣に適宜報告する。 　 〔プロジェクト目標の達成に向けたリスク対策〕 　R課長は、K社のサポートを受けて、プロジェクト目標の達成に関わる次に示すリスクを特定し、リスク対応策を検討した。 (1) 採点の信頼性を過去の採点と同等以上にできない、又は、継続的に高められないリスク 　初期の学習データの用意が不十分だった場合は、最新の入試問題に対応する習熟度テストの問題などに対して、採点基準をより適正なものにする補足情報を生成できず、プロジェクトの目標である採点の信頼性を過去の採点と同等以上にすることが達成できないリスクがある。本リスクへの対策として、初期の学習データを用意する際に、教材に含まれるキーワード集や最新の入試問題などの記述例を分析し、習熟度テストの問題と採点基準、補足情報などでは不足する用語や記述スタイルも学習データとして生成AIに学習させることにした。 　また、システム稼働後に新たな適切な学習データを追加で学習させられず、継続的に採点の信頼性を高めることができないリスクがある。R課長は、本リスクへの対策として、運用・保守プロセスで、生成AIに追加で学習させる学習データとして、毎回の習熟度テストの問題と採点基準、補足情報、答案、採点結果が利用可能と考えた。 (2) 講師の作業負荷をこれまでよりも軽減することができないリスク 　R課長は、採点基準をより適正なものにする補足情報を生成したり、過去の採点と同等以上の採点の信頼性を保てたりする生成AIの効果に納得していない講師は、プロジェクトの目標である作業負荷軽減が達成できないリスクがあると考えた。R課長は、本リスクへの対策として、効果検証テストにおける講師の作業負荷軽減の効果の検証において、採点支援システムが提供する、生徒の答案などから補足情報を作成する機能を重点対象とし、生成された補足情報の正しさや、補足情報が提示されることによる自身の作業負荷の軽減を実感してもらうことにした。