自動音声認識と機械学習による新たな医学教育システムの創出

本研究課題実施計画に関して、成果を以下に報告する。①既存のシミュレーション教育シナリオから、熟練した指導者が評価するレベルで評価項目のチェックリストを作成する：予定通りに進行し、24のシナリオに関してチェックリストと時間経過の目安を作成した。②シミュレーション中の発話内容を音声認識・自然言語処理により自動記録するシステムを開発する：心肺蘇生法および病院前救急隊活動のシミュレーション4コースにおいて、シナリオ実施中に学習者の音声を取得した。共同研究企業であるTXP medical株式会社のアプリケーションを改良しシステムを開発している。音声認識に関してはまだ技術的課題があるが、シミュレーション中の受講者の言動はシステムを用いて簡便に記録し、掲示板形式で表示することができている。現在、実際のシミュレーションにて検証を実施している。③記録内容とシナリオチェックリストの整合性を機械学習で評価するシステムを開発する。④結果と時間軸の記録をデブリーフィングツールに反映する：シミュレーション中の記録内容と時間経過を共有しデブリーフィングに用いることはできており、機械学習でチェックリストとの整合性を評価するシステムを現在開発中である。〇今後の予定 音声認識・自然言語処理により記録した内容とシナリオチェックリストの整合性を機械学習で評価し、結果と時間軸の記録をデブリーフィングツールに反映するシステムの開発を進める。プロトタイプを実際のシミュレーションで試用し、音声認識・自然言語処理による自動記録の精度向上を進め、システムの完成を目指す。システム完成後、実際のシミュレーションコースに本システムを導入し、学習効果の向上に関して、学習者の到達度評価や学習者・指導者に対する質問紙を用いて検証研究を行う。

本研究課題実施計画に関して、成果を以下に報告する。①既存のシミュレーション教育シナリオから、熟練した指導者が評価するレベルで評価項目のチェックリストを作成する：予定通りに進行し、24のシナリオに関してチェックリストと時間経過の目安を作成した。②シミュレーション中の発話内容を音声認識・自然言語処理により自動記録するシステムを開発する：心肺蘇生法および病院前救急隊活動のシミュレーション4コースにおいて、シナリオ実施中に学習者の音声を取得した。共同研究企業であるTXP medical株式会社のアプリケーションを改良しシステムを開発している。音声認識に関してはまだ技術的課題があるが、シミュレーション中の受講者の言動はシステムを用いて簡便に記録し、掲示板形式で表示することができている。現在、実際のシミュレーションにて検証を実施している。③記録内容とシナリオチェックリストの整合性を機械学習で評価するシステムを開発する。④結果と時間軸の記録をデブリーフィングツールに反映する：シミュレーション中の記録内容と時間経過を共有しデブリーフィングに用いることはできており、機械学習でチェックリストとの整合性を評価するシステムを現在開発中である。〇今後の予定 音声認識・自然言語処理により記録した内容とシナリオチェックリストの整合性を機械学習で評価し、結果と時間軸の記録をデブリーフィングツールに反映するシステムの開発を進める。プロトタイプを実際のシミュレーションで試用し、音声認識・自然言語処理による自動記録の精度向上を進め、システムの完成を目指す。システム完成後、実際のシミュレーションコースに本システムを導入し、学習効果の向上に関して、学習者の到達度評価や学習者・指導者に対する質問紙を用いて検証研究を行う。