研究課題:記述式問題および生成AIを用いた評価とフィードバックによる新たな基本的臨床能力評価の検討
1.研究の目的・方法
基本的臨床能力評価試験(General Medicine In-Training Examination:GM-ITE)は、CBT方式を採用し、主としてペーパーベースの多肢選択問題(MCQ)で構成されている。加えて、動画や音声を用いた視覚教材も導入し、臨床判断の要素を出題している。しかしながら、これらの形式はBloomタキソノミーにある、知識レベル(knows)と理解レベル(knows how)が中心であり、臨床研修医が実際に臨床で思考するプロセスや理由づけ、臨床判断の過程などを十分に評価しきれていない課題が挙げられている。
生成AIは大規模言語モデルを活用し、自然言語処理や文章生成能力が飛躍的に向上している。教育評価の分野においても、AIを用いた記述式評価・フィードバックの可能性が実証されつつあり、エッセイの採点や自動フィードバック生成の研究が報告されており、臨床研修医の基本的臨床能力を評価するGM-ITEでの記述式問題の自動採点とフィードバックに応用する意義は大きい。そこで本研究では、GM-ITEに記述式問題(鑑別診断、診断根拠、患者への対応)を導入するとともに、生成AIを用いた自動採点および個別フィードバックの可能性を検証することで、従来評価できなかった臨床研修医の思考過程や判断力を評価可能かどうか明らかにする。そして、生成AIによる教育的フィードバックを付与することで、受験者の学習行動や理解深化にどのような影響があるかを評価する。
また、副次的な解析として、男女差に着目した解析を行う。研修医の臨床推論力における男女差を検討することは、医学教育における多様性理解と教育効果の最適化に資する。性差による思考様式や意思決定過程の違いを科学的に明らかにすることで、個々の学習特性に応じた指導法の開発や、公平で効果的な教育評価体系の構築を目指す。
本研究は、2026年1月に実施する2025年度GM-ITE、および2026年4月に新臨床研修医を対象に実施するGM-ITE PGY-0から、記述式問題を試験的に導入し、生成AIによる自動採点およびフィードバック生成の有用性を検証する。導入する記述式問題は、臨床研修指導医ガイドラインに定められた初期救急対応の評価項目を参考とし、基本的診療業務に該当する「一般外来診療、病棟診療、初期救急対応、地域医療等を評価することを目的する。問題文では診療設定ならびに患者情報を提示し、受験者に診断名、診断根拠、初期対応方針を自由記述で回答させる形式とする。評価基準は、基本的診療業務について、エキスパートパネルによって作成した評価用ルーブリックを生成AIの採点プロンプトと評価仕様に実装して用いる。
記述式問題はGM-ITEの正規試験と同一のオンライン試験プラットフォームを使用して、GM-ITEの本試験80問とは切り離して実施する。受験者の自由記述回答データはGM-ITE試験システム上でCSV形式にて出力し、JAMEPが契約する生成AI(大規模言語モデル)を使用して、自動採点およびフィードバック生成の検証を行う。生成AIはルーブリックに準拠した基準に基づき採点を行い、採点根拠と学習課題を含む個別フィードバックの生成を行う。各受験者のGM-ITEスコア(全体スコアおよび領域別スコア)と記述式問題スコアとの関連を評価し、既存評価指標との整合性を検証する。記述式問題スコアと研修医自身の基本的診療業務に関する自己到達度評価(初期救急対応の例:緊急性の高い病態を有する患者の状態や緊急度を速やかに把握・診断し、必要時には応急処置や院内外の専門部門と連携ができる)との関連も分析する。さらに、研修環境調査アンケートに含まれる研修年次、性別、所属医療機関、当直回数、入院受持患者数、自己研鑽時間、勤務時間などの研修環境因子との関連を検討する。記述式問題の外的妥当性の検証として、協力が得られた基幹病院および受験生から、該当する受験生の臨床現場での評価(例:研修医評価票などの臨床現場での客観評価)を収集します。また、同じ問題について、GM-ITE PGY-0でも実施することから、臨床研修の開始時点からの熟達度合いについても評価しする。また、過去(GM-ITE 2021、GM-ITE 2022、GM-ITE 2023)の患者再現VTR自由記述問題データと比較します。問題形式・採点効率・学習支援効果の差異を検証し、将来的なGM-ITEの最適な記述式評価モデルの構築を目指す。
2.研究の対象
2025年度以降のGM-ITEまたはGM-ITE PGY-0を受験し、試験結果およびアンケート結果の研究利用について、研究対象者本人の自由意思による同意が得られた臨床研修医
3.研究に用いる試料・情報の種類
(情報)GM-ITE試験結果、GM-ITE受験者(研修医)の基本情報(学年、性別、志望専門科目等)、所属施設データ(病院分類、病院規模、病院立地、総合診療科の有無等)、アンケート結果
4.研究に用いる試料・情報の提供を開始する予定日
2026年4月1日
5.研究に用いる試料・情報の提供を行う機関
特定非営利活動法人 日本医療教育プログラム推進機構
理事長 黒川 清
6.研究責任者及び研究に用いる試料・情報を利用する者の範囲
千葉大学大学院医学研究院 地域医療教育学 特任教授 鋪野 紀好(研究責任者)
群星沖縄臨床研修センター センター⻑ 徳田 安春
順天堂大学 医学部医学教育研究室 教授 西﨑 祐史
水戸協同病院 総合診療科 教授 小林 裕幸
獨協医科大学 総合診療医学 教授 志水 太郎
自治医科大学 地域医療学センター 総合診療部門 学内講師 山本 祐
杏林大学 総合医療学 助教 福井 翔
東京大学医科学研究所 先端医療研究センター 先端医療開発推進分野 助教 片岡 恒史
藤田医科大学 総合診療科 講師 長崎 一哉
7.外部への試料・情報の提供
上記データを特定の個人が識別できないように匿名化し、匿名加工データファイルとしてセキュリティが確保されたインターネット経由、または電子媒体(特定の関係者以外がアクセスできない状態)で提供を行う。
8.試料・情報の管理について責任を有する者の氏名
千葉大学大学院医学研究院 地域医療教育学 特任教授 鋪野 紀好
9.試料・情報の利用又は他の研究機関への提供の停止
本研究への情報の利用について、研究対象者または代理人がご了承いただけない場合には研究対象としない。その場合はJAMEPのホームページから「研究利用に関する不同意書」をダウンロードしていただき、必要事項を記入の上、下記連絡先まで申し出ることとする。不同意を理由に不利益を受けることはない。また、GM-ITEおよび本アンケートにより取得された情報は、当該研究のほか、将来計画される臨床研修プログラムおよび研修環境の調査・改善に関する研究に利用する可能性がある。将来の研究の概要および提供先となり得る研究機関の情報は、JAMEPのホームページに公開する。
10.利益相反
本研究について、企業等からの資金提供はない。また、本研究は、厚生労働行政推進調査事業費補助金 地域医療基盤開発推進事業 (令和6年〜令和8年、研究代表者 筑波大学 小林裕幸) 「医師臨床研修制度における基本的臨床能力評価試験の活用等に関する研究」から、資金提供を受けている。研究責任者の鋪野は、基本的臨床能力評価試験問題作成委員としてJAMEPから謝金を受けている。また、研究分担者の徳田は JAMEPの研究担当理事を務め、試験問題査読委員として謝礼を受けている。研究分担者の西﨑はJAMEP基本的臨床能力評価試験プロジェクトマネージャーとしてJAMEPから謝金を得ている。研究分担者の志水、山本、福井は問題作成委員としてJAMEPから謝金を得ている。研究責任者の鋪野、研究分担者の徳田、西﨑、小林、志水、山本、福井は、JAMEPが主催する講習会等の講師として、JAMEPから謝礼を受けている。
なお、本研究は、研究者が企業等から独立して計画・実施するものであり、企業その他の外部組織が研究計画、データ解析、または研究成果の公表に影響を及ぼすことは一切ない。データ解析は、利益相反を有しない研究者(研究分担者:片岡)が実施し、研究成果の公表にあたっては、すべての利益相反関係を適切に開示し、研究の透明性を確保する。
11.お問い合わせ先
本研究に関するご質問等がありましたら下記の連絡先までお問い合わせ下さい。ご希望があれば、他の研究対象者の個人情報及び知的財産の保護に支障がない範囲内で、研究計画書及び関連資料を閲覧することが出来ますのでお申出下さい。
照会先・不同意書提出先:
特定非営利活動法人 日本医療教育プログラム推進機構
〒141-0032 東京都品川区大崎1-19-10 大崎KIビル6F
TEL. 03-6431-8191
研究責任者
聖路加国際病院 総合診療科 医員・医療の質管理室/東京科学大学 公衆衛生学分野 西澤 俊紀