聴覚障害者のための手話・音声・唇動画像同時生成の研究-障害者に優しいヒューマンマシンインタフェースを目指して-

为听力障碍者同时生成手语、语音和唇形视频图像的研究 - 旨在打造对残疾人友好的人机界面 -

• 批准号: 13780321
• 负责人: 益子 貴史
• 金额: $ 1.34万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2001
• 资助国家: 日本
• 起止时间: 2001 至 2002
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-13780321/
• 关键词: 動作生成; 動作プリミティブ; 隠れマルコフモデル; コンテキストクラスタリング; 手話生成; 手話・音声・唇動画像同時生成; 動作ラベリング

本研究では,音声・唇動画像と同期した手話の生成を目的とし,HMMに基づく手指動作の学習,生成の検討を行っている.本手法では,一連の動作を基本単位(動作プリミティブ)に分割し,動作プリミティブ毎にHMMを学習する.動作生成時には,生成したい任意の動作を動作プリミティブの列で表し,これに従って動作プリミティブHMMを連結することにより,生成したい動作全体を表すHMMを作成する.この動作HMMから尤度最大基準に基づくパラメータ生成手法により動作パラメータ列を生成し,可視化することによって動作のアニメーションを合成する.まず,動作プリミティブHMMからの動作生成が可能であることを確認するため,モーションキャプチャおよびデータグローブにより腕および手指の動作をそれぞれ収録し,これを学習データとして動作プリミティブHMMの学習を行った.そして,動作プリミティブHMMを連結して学習データと同じ動作を表す動作HMMを作成し,動作の生成を行った.その結果,収録データと同様の自然で滑らかな動作を生成できることを示した.また,学習データとは異なる動作プリミティブの列に対しても自然で滑らかな動作が生成できることを確認し,動作プリミティブを組み合わせることによって収録データとは異なる様々な動作を生成できることを示した.さらに,決定木に基づくコンテキストクラスラリングを応用することにより,学習データに含まれない手指形状も生成できることを示した.

This study aims at the generation of hand speech,HMM, finger movement learning, generation and discussion. This method is to divide the basic unit of continuous motion (motion), motion and HMM learning. When the action is generated, any action is generated. The action list is generated. This action HMM is based on the maximum standard. The method of generating the action HMM is to generate the action HMM and visualize the action HMM. The action of HMM is possible to generate, confirm, and learn. The action of HMM is possible to generate, confirm, and learn. For example, if you want to learn from the HMM, you can create the HMM. As a result, the recording process is the same as the natural sliding motion. The action of learning is different. The action of learning is different. The action of learning is different. In this case, it is necessary to determine whether the basic information is correct or not, and whether it is correct or not.

项目成果

吉岡 元貴, 益子 貴史, 小林 隆夫: "隠れマルコフモデルに基づく腕の動きの生成"情報処理学会第65回全国大会講演論文集. (発表予定). (2003)

Mototaka Yoshioka、Takashi Mashiko、Takao Kobayashi：“基于隐马尔可夫模型的手臂运动的生成”日本信息处理学会第 65 届全国会议论文集（2003 年）。

高御堂 雄三, 羽岡 哲郎, 益子 貴史, 小林 隆夫: "隠れマルコフモデルに基づくハンドジェスチャー生成の検討"情報処理学会第65回全国大会講演論文集. (発表予定). (2003)

Yuzo Takamido、Tetsuro Haneoka、Takashi Mashiko、Takao Kobayashi：“基于隐马尔可夫模型的手势生成研究”第 65 届日本信息处理学会全国会议论文集（待提交）（2003 年）。