プログラミング授業をサポートするティーチングアシスタントロボットに関する研究

点击翻译按钮获取中文摘要

小学生の子どもたちの車輪型ロボットを活用したプログラミング授業における教師をサポートするティーチングアシスタントロボットの構築を目指し，ティーチングアシスタントロボットとしてソフトバンク社のPepperを利用し，そのPepperに備わっているビデオカメラの映像やセンサの情報を活用し研究を進めてきている．特に2022年度では，車輪型ロボットの組み立て時におけるアドバイスにおいて，これまで個別に開発してきた基礎的技術を融合させ，質問者の発見から，質問者の下へ移動し，質問内容の確認，アドバイスまでの動作を行えるようにした．挙手した質問のある学習者の発見は，教室内で学習者の顔の検出と手の検出を行い，その位置関係から質問者を特定している．その質問者の下への移動は，Pepper with the QiSDKのためのAPIを利用して，発見された質問者の顔のある方向をルートとして決定し，そのルートを進む．このとき，ティーチングアシスタントロボットは，Pepperの足元についているセンサでルート上の障害物を避けながら進んでいく．車輪型ロボットの組み立て時のアドバイスでは，これまでの経験でよくある質問として，組み立てマニュアルに載っているパーツをどこに付けたら良いのか分からないという状況を想定し，分からないパーツの認識と組み立てマニュアルのページの認識を特徴量マッチングという画像処理技法を利用して行った．パーツの認識では，車輪型ロボットの組み立てに使うパーツすべてを撮影した画像とPepperのカメラで撮影したパーツの画像の2枚を利用し，また，組み立てマニュアルでは，組み立てマニュアル内にある図を集めた画像と学習者が利用しているタブレットの画面をPepperのカメラで撮影した画像を使い，特徴量マッチングして，特徴量が似ている点が集中しているパーツやマニュアル内の図を検出して，判断している．