聴覚障害者講義での質問者の手話の自動撮影による学生間の意思疎通支援に関する研究

点击翻译按钮获取中文摘要

本研究では,聴覚障害者集団を対象にした講義における学生間の意思疎通を支援する目的で,講義中に質問をした学生を自動的に撮影するシステムを開発した.本システムでは,受講者の中から画像処理により発言者を検出し、発言者を撮影するようにカメラで自動的に追う.手話を行っている間は発言者を撮影し,それを部屋の前面のモニターに映し出す.これを他の受講者が見ることによって,発言内容を把握する.これによって,従来では,発言内容が共有されないため同じ質問を繰り返し発言するという問題が起きていたが,それが解決される.また,講義中に講師から受講生に対して発言を促すこともしやすくなる.発言者を検出する方法として様々な方法が考えられるが,本システムでは挙手動作によって発言者を検出した.挙手動作は顔の周辺で行われるので,人物の顔位置を求める.まず,背景差分によって人物領域を求め,さらに肌色抽出,髪領域探索によって顔位置を求める.また,カメラに対する受講生の奥行きに応じて,閾値を使い分けることによって,カメラからの距離による影響を少なくした.挙手動作によって発言者を検出した後,カメラをその発言者に向け,ズーム撮影する.このとき,発言者がカメラの視野から外れないように,手話を行っている手がカメラの視野付近にある場合は,ズームアウトする.また,ズームが小さすぎる場合は,発言者の口の動きが分かりにくくなるため,ズームインする.本システムの有効性を検証するために,実際の聴覚障害者集団の講義において,実験を行った.その結果,挙手検出率は70%であった.また,受講者に本システムについての聞き取り調査を行い,本システムは役に立つと思われるという回答が多かった.