Development of Adaptive Learning Support Robot Service Ennvironment with Multimodal Multilayered Rule-base

点击翻译按钮获取中文摘要

本研究では，信号レベルを記号化する機械学習モデルによる結果と記号である言葉を処理する自然言語処理とを組み合わせ，専門家の知識を記述するマルチモーダル多階層ルールベースの構築と効果的な適用を実現するための評価モデルの構築環境の開発により，教師が行っている対話指導場面での業務知識に基づく行動選択の基準を言語化した知識として得ることができる環境の実現を目指している．本研究では，一斉授業および個別学習における授業遂行の中でも教員補助が必要な対話練習を題材に，各教師による柔軟な教授戦略を再現するロボットサービス実現のため，マルチモーダル多階層ルールベースの開発を行う．さらに，ルールの適用に際して，機械学習モデルによる行動選択を取り入れ，教師の評価との照合により，学習者がより意欲的に学習に取り組める学習環境を実現する．本年度は，マルチモーダル多階層ルールベースの記述形式をJSONを用いて定め，この形式のルールベースを出力する入力支援インタフェースの開発を行った．また，深層ニューラルネットワークを用いた行動認識プログラムの開発，および音声認識サービスからの認識結果の統合を試みた．このうち，マルチモーダル多階層ルールベースの入力支援インタフェースについては，通常のWebアプリケーションによく見られる入力フォームによる入力画面に加え，チャットのようにマルチモーダルな情報を教師とやり取りを行いながら入力を行えるインタフェースを実装した．本インタフェースの実装については，研究成果として第85回情報処理学会全国大会において発表した．