The Development of educational system using imitation learning agent which imitates learner's behavior

昨年度までの研究では、機械学習を用いた模倣学習エージェントの構築に注力した。特に、論理的ボードゲームの戦術・戦略的スキルの学習に重点を置き、大量の棋譜データを用いてその生成に取り組んだ。しかし、模倣学習エージェントを自分自身や他人と対戦させ、または多数の模倣学習エージェント同士の仮想対戦を通じた学習方法は、必ずしも十分な教育効果を保証するものではなかった。そこで、「プレイ戦略分析システム」の開発を進め、学習者の戦略の理解と分析を支援しようとした。しかし、このシステムの構築には困難が伴い、完全な支援機能の実現は困難であるとの結論に達した。その中で、解決策として見い出したのが説明可能なAI（XAI）の導入であった。XAIは機械学習が学習した内容を人間が解釈可能にする技術で、ブラックボックス化されたモデルをホワイトボックス化し、理解可能にする。このXAIを模倣学習エージェントに導入することで，「局所説明」によって、エージェントがある局面での行動を選択する際に、具体的に盤面のどの部分が影響を及ぼしているかを明確にすることが可能となった。これにより、学習者がエージェントの振る舞いやその背後にある戦略的思考を改めて確認することができる。現在，我々は模倣学習エージェントの学習と利用を実用的なレベルに高めるため，アルゴリズムのパフォーマンス改善をおこなっている。また，戦略の可視化は実現できたが，その意味を読み取ることが難しい場合も多いため，言語化して説明する手法の開発もおこなっている。これにより，学習者はエージェントの行動や戦略をさらに深く理解し、異なるエージェントを比較するといったことが容易におこなえるようになることを期待している．これらの技術開発により，模倣学習エージェントを実用的に利用することが可能であることを実証していきたい．

昨年度までの研究では、機械学習を用いた模倣学習エージェントの構築に注力した。特に、論理的ボードゲームの戦術・戦略的スキルの学習に重点を置き、大量の棋譜データを用いてその生成に取り組んだ。しかし、模倣学習エージェントを自分自身や他人と対戦させ、または多数の模倣学習エージェント同士の仮想対戦を通じた学習方法は、必ずしも十分な教育効果を保証するものではなかった。そこで、「プレイ戦略分析システム」の開発を進め、学習者の戦略の理解と分析を支援しようとした。しかし、このシステムの構築には困難が伴い、完全な支援機能の実現は困難であるとの結論に達した。その中で、解決策として見い出したのが説明可能なAI（XAI）の導入であった。XAIは機械学習が学習した内容を人間が解釈可能にする技術で、ブラックボックス化されたモデルをホワイトボックス化し、理解可能にする。このXAIを模倣学習エージェントに導入することで，「局所説明」によって、エージェントがある局面での行動を選択する際に、具体的に盤面のどの部分が影響を及ぼしているかを明確にすることが可能となった。これにより、学習者がエージェントの振る舞いやその背後にある戦略的思考を改めて確認することができる。現在，我々は模倣学習エージェントの学習と利用を実用的なレベルに高めるため，アルゴリズムのパフォーマンス改善をおこなっている。また，戦略の可視化は実現できたが，その意味を読み取ることが難しい場合も多いため，言語化して説明する手法の開発もおこなっている。これにより，学習者はエージェントの行動や戦略をさらに深く理解し、異なるエージェントを比較するといったことが容易におこなえるようになることを期待している．これらの技術開発により，模倣学習エージェントを実用的に利用することが可能であることを実証していきたい．