Automatic evaluation of group discussion based on multi-modal interpretation

複数人による議論は，PBLのような学習の場のみならず，入試などのグループディスカッションでも活用され，教育の中で重要な役割を担っている．一方で，そのような議論を試験として公平にかつ効率的に評価することは難しい．本研究では，議論の流れを言語的な発話内容だけではなく，音声（韻律情報など）や画像（表情やしぐさなど）を踏まえ，マルチモーダルに利用して把握する手法の確立を目指す．令和4年は以下のような研究を行った．（a）ディベートのマルチモーダル評価：2人1組による2対2のディベート（Kyutechディベートコーパス）を対象に，書き起こしテキスト・音声情報・画像情報を統合的に扱うマルチモーダルな深層学習モデルを適用し，その有効性を検証した．本研究は国際会議（PACLIC36, 2022）で発表された．（b）言語現象の分析：対話などで生じる言語現象の一つとして，攻撃的な発言の検出のための基礎的なモデルを構築し，その有効性を検証した．本研究は国際会議IIAI2022で発表された．また，対話でのトピック推定や談話行為推定のモデルについても研究をし，学会発表を行った．（c）音声データの分析：人間の対話では，フィラーや言い淀みなどの内容には関係ない表現も多く含まれる．音声データを音声認識器で書き起こすとこの冗長な情報がそのまま結果として残ってしまい，分析などの際にノイズとなる．この問題を解決するために音声認識結果に含まれる言い淀みなどを検出する手法について提案した．関連する研究が電子情報通信学会九州支部学生会講演会や電子情報通信学会NLC研究会で発表された．九州支部学生会講演会では奨励賞を受賞した．

複数人による議論は，PBLのような学習の場のみならず，入試などのグループディスカッションでも活用され，教育の中で重要な役割を担っている．一方で，そのような議論を試験として公平にかつ効率的に評価することは難しい．本研究では，議論の流れを言語的な発話内容だけではなく，音声（韻律情報など）や画像（表情やしぐさなど）を踏まえ，マルチモーダルに利用して把握する手法の確立を目指す．令和4年は以下のような研究を行った．（a）ディベートのマルチモーダル評価：2人1組による2対2のディベート（Kyutechディベートコーパス）を対象に，書き起こしテキスト・音声情報・画像情報を統合的に扱うマルチモーダルな深層学習モデルを適用し，その有効性を検証した．本研究は国際会議（PACLIC36, 2022）で発表された．（b）言語現象の分析：対話などで生じる言語現象の一つとして，攻撃的な発言の検出のための基礎的なモデルを構築し，その有効性を検証した．本研究は国際会議IIAI2022で発表された．また，対話でのトピック推定や談話行為推定のモデルについても研究をし，学会発表を行った．（c）音声データの分析：人間の対話では，フィラーや言い淀みなどの内容には関係ない表現も多く含まれる．音声データを音声認識器で書き起こすとこの冗長な情報がそのまま結果として残ってしまい，分析などの際にノイズとなる．この問題を解決するために音声認識結果に含まれる言い淀みなどを検出する手法について提案した．関連する研究が電子情報通信学会九州支部学生会講演会や電子情報通信学会NLC研究会で発表された．九州支部学生会講演会では奨励賞を受賞した．