日本手話発話中の話者の顔表情に表れる言語情報の画像認識とその手話認識への応用

日本手语说话者面部表情所表达的语言信息的图像识别及其在手语识别中的应用

• 批准号: 14658108
• 负责人: 安本 勝哉
• 金额: $ 1.92万
• 依托单位: National Institute of Advanced Industrial Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-14658108/
• 关键词: 日本手話会話映像; プロンプター状装置; 手話認識研究; WWWポータルサイト; 非手指動作; 指文字; カーネル法; 赤外線反射画像

自然な日本手話会話映像を得るため、手話者の上半身を撮影可能なプロンプター状装置を一作年度、設計・試作した。その装置で、ろう者(手話を日常話す人のことを、ここでは「ろう者」と呼んでいる)二人の対話記録を試み、それを基に装置の改善を引き続き行った。その装置で得られた手話発話ビデオ映像の他、市販のろう者のビデオ映像中から、自然な手話会話を行っていると思われる部分を人手で調査・選別し、それらを素材として用い、画像中の手話者の顔を追跡し、顔の部品(眉、目、口)の相対的位置、形状、動きの時間変化を自動的に取得する方法の探索を引き続き行った。具体的手法としては、色情報、動き情報に基づくテンプレートマッチング、DPマッチング、オプティカルフロー等を試みた。また、並行して、WWWサイトの「手話認識研究ポータルサイト」の作成、運営を行うことにより、手話やジェスチャの機械認識の世界的な研究動向についての情報提供を続けた。

Naturally, the Japanese mobile phone will get a good image, and the handset user's upper body image may be designed for the first time. The device and the operator (the mobile phone, the phone. The device can detect the image of the speaker in the mobile phone, the image of the marketer, and the location, shape, shape and shape of the handheld in the portrait, and the location, shape, shape and shape of the handheld in the portrait. The method of automatic acquisition of mobile phones in mobile time is to explore the methods of automatic acquisition of mobile phones. Specific techniques such as sex, porn, information, etc., are used in the trial, such as DP, porn, and so on. Communication, parallel learning, WWW learning, mobile phone research, mobile phone, machine, machine

项目成果

安本勝哉, 水野純也, 栗田多喜夫: "カーネル判別分析による指文字認識"第8回画像センシングシンポジウム論文集(ISBN 4-9901303-8-3). 511-514 (2002)

Katsuya Yasumoto、Junya Mizuno、Takio Kurita：“使用核判别分析进行手指字符识别”第八届图像传感研讨会论文集 (ISBN 4-9901303-8-3) (2002)。

K.Yasumoto, J.Mizuno, T.Kurita: "Improvement of Generalization Ability of Kernel-based Fisher Discriminant Analysis for Recognition of Japanese Sign Language Hand Postures, "YUBI-MOJI", using K-mean Method"Proceedings of IAPR Workshop on Machine Vision Ap

K.Yasumoto、J.Mizuno、T.Kurita：“提高基于核的 Fisher 判别分析的泛化能力，用于识别日本手语手势，“YUBI-MOJI”，使用 K 均值方法”IAPR 研讨会论文集