聴覚障害者講義での質問者の手話の自動撮影による学生間の意思疎通支援に関する研究

自动捕捉提问者手语对听障学生听课中学生间沟通支持的研究

• 批准号: 16700403
• 负责人: 竹内 義則
• 金额: $ 1.6万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2004
• 资助国家: 日本
• 起止时间: 2004 至 2005
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-16700403/
• 关键词: 情報システム; 福祉工学; 情報保障; 聴覚障害者支援; 手話; 自動撮影; 挙手検出; 顔抽出; 音源定位; 音源分離; 講義の自動撮影

本研究では,聴覚障害者集団を対象にした講義における学生間の意思疎通を支援する目的で,講義中に質問をした学生を自動的に撮影するシステムを開発した.本システムでは,受講者の中から画像処理により発言者を検出し、発言者を撮影するようにカメラで自動的に追う.手話を行っている間は発言者を撮影し,それを部屋の前面のモニターに映し出す.これを他の受講者が見ることによって,発言内容を把握する.これによって,従来では,発言内容が共有されないため同じ質問を繰り返し発言するという問題が起きていたが,それが解決される.また,講義中に講師から受講生に対して発言を促すこともしやすくなる.発言者を検出する方法として様々な方法が考えられるが,本システムでは挙手動作によって発言者を検出した.挙手動作は顔の周辺で行われるので,人物の顔位置を求める.まず,背景差分によって人物領域を求め,さらに肌色抽出,髪領域探索によって顔位置を求める.また,カメラに対する受講生の奥行きに応じて,閾値を使い分けることによって,カメラからの距離による影響を少なくした.挙手動作によって発言者を検出した後,カメラをその発言者に向け,ズーム撮影する.このとき,発言者がカメラの視野から外れないように,手話を行っている手がカメラの視野付近にある場合は,ズームアウトする.また,ズームが小さすぎる場合は,発言者の口の動きが分かりにくくなるため,ズームインする.本システムの有効性を検証するために,実際の聴覚障害者集団の講義において,実験を行った.その結果,挙手検出率は70%であった.また,受講者に本システムについての聞き取り調査を行い,本システムは役に立つと思われるという回答が多かった.

This study で は, hearing handicap of set 団 を like に seaborne し た notes に お け る between students mean の 疎 tong を support す で る purpose, your handout に questioned を し た students を automatic に pinch of shadow す る シ ス テ ム を open 発 し た. This シ ス テ ム で は, the speakers in the の か ら portrait 処 Richard に よ り 発 adviser を 検 し, 発 adviser を pinch of shadow す る よ う に カ メ ラ で に chase う automatically. Between hand line words を っ て い る は 発 adviser を pinch of shadow し, そ れ を izutsu の front の モ ニ タ ー に reflected し す. こ れ を he の speakers が see る こ と に よ っ て, 発 speech content を grasp す る. こ れ に よ っ て, 従 to で は, 発 speech content が mutual さ れ な い た め with じ questioned を Qiao り return し 発 said す る と い う problem since が き て い た が, そ れ が solution Definitely さ れ る. ま た, handout に lecturer か ら born by speaking に し seaborne て を 発 words promote す こ と も し や す く な る. 発 adviser を 検 out す る method と し て others 々 な method が exam え ら れ る が, this シ ス テ ム で は 挙 hand movements に よ っ て 発 adviser を 検 out し た. 挙 hand movements は yan の weeks 辺 で line わ れ る の で, character の yan め position を o る. ま ず, background difference に よ っ て character field を め, さ ら に muscle color, hair field exploration に よ っ て ngan position を asked め る. ま た, カ メ ラ に す seaborne る born by speaking の Mr Line き に 応 じ て, threshold numerical を make い points け る こ と に よ っ て, カ メ ラ か ら の distance に よ る Influence を less なく た. 挙 hand movements に よ っ て 発 adviser を 検 out し た after カ メ ラ を そ の 発 adviser に to け ズ ー ム pinch of shadow す る. こ の と き, 発 adviser が カ メ ラ の vision か ら outside れ な い よ う に, hand line words を っ て い る hand が カ メ ラ の vision paying nearly に あ は る situations, ズ ー ム ア ウ ト す る. ま た, ズ ー ム が small さ す ぎ は る situations, 発 adviser の の Move が が points to が にくくなるため にくくなるため,ズ ズ ム ム ム にくくなるため する する する する. This シ ス テ ム の have sharper sex を 検 card す る た め に, be interstate の hearing handicap is set 団 の notes に お い て, be 験 を line っ た. そ の results, 挙 hand は 検 rate 70% で あ っ た. ま た, the speakers に this シ ス テ ム に つ い て の き り survey line を い, smell the シ ス テ ム は "に made つ と think わ れ る と い う answer が more か っ た.

项目成果

聴覚障害者の講義における手話発言者の自動撮影

自动拍摄听障人士讲座中的手语发言者

• 发表时间: 2005
• 期刊: 電子情報通信学会技術研究報告〔思考と言語〕 Vol.105 No.50
• 作者: 中野 治郎;沖田 実;他(7名);沖田 実;大西謙吾 他3名;小田川絢子;関川清一;奈良勲;村田 潤 他;Shimizu K et al.;池田恭敏;Matsukawa K et al.;Nakamoto T;Murata J;Murata J;Matsukawa K;Matsumoto M;坂下雄大;坂下雄大
• 通讯作者: 坂下雄大

聴覚障害者の講義における質問者の自動撮影による手話発言支援

通过自动拍摄听障人士讲座中提问者的视频来支持手语表达

• 发表时间: 2004
• 期刊: 電気関係学会東海支部連合大会講演論文集
• 作者: 中野 治郎;沖田 実;他(7名);沖田 実;大西謙吾 他3名;小田川絢子;関川清一;奈良勲;村田 潤 他;Shimizu K et al.;池田恭敏;Matsukawa K et al.;Nakamoto T;Murata J;Murata J;Matsukawa K;Matsumoto M;坂下雄大;坂下雄大;坂下雄大;Yusuke Katayama;Edil James;坂下雄大
• 通讯作者: 坂下雄大

聴覚障害者の講義における挙手抽出による手話発言者の検出

在听障人士讲座中通过举手检测手语使用者

• 发表时间: 2005
• 期刊: 電子情報通信学会技術研究報告〔福祉情報工学〕 Vol.105 No.67
• 作者: 中野 治郎;沖田 実;他(7名);沖田 実;大西謙吾 他3名;小田川絢子;関川清一;奈良勲;村田 潤 他;Shimizu K et al.;池田恭敏;Matsukawa K et al.;Nakamoto T;Murata J;Murata J;Matsukawa K;Matsumoto M;坂下雄大
• 通讯作者: 坂下雄大

Closely Arranged Directional Microphone for Source Separation Effectiveness in Reduction of the Number of Taps and Preventing Factors

紧密排列的定向麦克风进行声源分离，有效减少敲击次数和预防因素

• 发表时间: 2004
• 期刊: Fifth International Conference on Independent Component Analysis and Blind Signal Separation
• 作者: 中野 治郎;沖田 実;他(7名);沖田 実;大西謙吾 他3名;小田川絢子;関川清一;奈良勲;村田 潤 他;Shimizu K et al.;池田恭敏;Matsukawa K et al.;Nakamoto T;Murata J;Murata J;Matsukawa K;Matsumoto M;坂下雄大;坂下雄大;坂下雄大;Yusuke Katayama
• 通讯作者: Yusuke Katayama

Speech Enhancement by Lateral Inhibition and Binaural Masking

通过横向抑制和双耳掩蔽增强语音

• 发表时间: 2004
• 期刊: International Workshop on Machine Learning for Signal Processing
• 作者: 中野 治郎;沖田 実;他(7名);沖田 実;大西謙吾 他3名;小田川絢子;関川清一;奈良勲;村田 潤 他;Shimizu K et al.;池田恭敏;Matsukawa K et al.;Nakamoto T;Murata J;Murata J;Matsukawa K;Matsumoto M;坂下雄大;坂下雄大;坂下雄大;Yusuke Katayama;Edil James
• 通讯作者: Edil James