人間協調マルチメディア相互支援による人間と環境の観察に基づくインタラクション

通过人类协作多媒体相互支持，基于人与环境观察的交互

• 批准号: 15017211
• 负责人: 久野 義徳
• 金额: $ 3.26万
• 依托单位: Saitama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-15017211/
• 关键词: コンピュータビジョン; ヒューマンインタフェース; マルチモーダルインタフェース; 非言語コミュニケーション; 視線; 意図理解; サービスロボット; 車椅子

生活環境内で動作するサービスロボットのヒューマンインタフェースとしては,音声対話によるものが有望である.しかし,自然で人間に負担のない音声対話システムを実現するためには,音声理解の技術だけでは十分ではない.人間同士の自然な対話では,双方の眼前にあるものについては,それに関することを言葉の上では簡略化することが多い.互いに視覚で情報を得ているごとが確かな場合,それを簡略化して発話するのが自然である.また,それが許されないようでは,使いやすいインタフェースにはならない.簡略化が行われるのは,会話の当事者が行動により関わっており,明確に言わなくても分かると判断したからと考えられる.そこで,ものの近くにいる,ものを見ている,ものを指差している,ものを手で扱っているという行動を考え,その対象となるものを視覚情報処理で求め,それにより簡略化された発話を理解する方法を検討した.そして,実際にロボットシステムを開発し,有効性を確認した.また,周囲環境と人間の行動を見て,人間と協調した行動をとれる車椅子について検討した.今年度は,車椅子に付き添う介護者と環境情報から,介護者の行動の意図を認識し,それに応じた行動をとる方法を開発した.例えば,進行方向にドアがあって,それを開けてその向こうに行きたいときには,車椅子の横や後ろにいた介護者は前に出て,ドアをあける.車椅子は介護者が前に出るときは停止し,ドアがあいたら前に進む.このような行動が自動的にできる方法を開発し実験で有効性を確認した.

Actions in the living environment, voice dialogueによるものがHope である.しかし,Nature is the burden of the world のない声対语 システムを実appear するためには, the technology of sound understanding だけでは十多ではない. The natural な対语 of the same people in the world では, the eyes of both sides前にあるものについては,それに关することを言葉の上ではsimplifiedすることが多い.mutualいに看覚でinformationをgetsているごとが正かな occasion,それをsimplificationして発语するのがnaturalである. Simplify the lineわれるのは, the action of the person involved in the conversation, the action of the person concerned, the clear and clear words, the judgment of the person involved in the conversationしたからと卡えられる.そこで,もののNearly くにいる,ものを见ている,ものを Refers to the difference している, ものを手で扱っているというoperation を考え, その対向となるものを视覚INTELLIGENCE PROCESSING でRequirement,それにより Simplified された発语をUnderstanding する を検 Discussion した.そして,実记にロボットシステムを开発し, validity をconfirmation した.また, surrounding environment and human world のaction を见て, human world とcoordination した行This year, the car chair has been moved, the car chair has been moved, the car chair has been moved, the car chair has been paid, and the caregiver has been given environmental information. The caregiver's action, meaning, recognition, action, method, and method of action. To the direction of the car The car and chair are in front of the carer and the caregiver is out, and the car and chair are in front of the caregiver.いたら前に入む.このようなactionがautomaticにできるmethodを开発し実験で Effectivenessをconfirmationした.

项目成果

M.H.Jeong, Y.Kuno, N.Shimada, Y.Shirai: "Recognition of Two-Hand Gestures Using Coupled Switching Linear Model"IEICE Transactions on Information and Systems. Vol.E86-D. 1416-1425 (2003)

M.H.Jeong、Y.Kuno、N.Shimada、Y.Shirai：“使用耦合切换线性模型识别双手手势”IEICE Transactions on Information and Systems。

Y.Kuno, A.Nakamura: "Robotic Wheelchair Looking at All People"CHI2003 Extended Abstracts. 1008-1009 (2003)

Y.Kuno、A.Nakamura：“机器人轮椅看着所有人”CHI2003 扩展摘要。

M.Yoshizaki, A.Nakamura, Y.Kuno: "Vision-Speech System Adapting to the User and Environment for Service Robots"Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2003). 1290-1295 (2003)

M.Yoshizaki、A.Nakamura、Y.Kuno：“适应服务机器人用户和环境的视觉语音系统”IEEE/RSJ 国际智能机器人和系统会议论文集 (IROS 2003)。

Z.M.Hanafiah, C.Yamazaki, A.Nakamura, Y.Kuno: "Human-Robot Speech Interface Understanding Inexplicit Utterances Using Vision"CHI2004 Extended Abstracts. (採録決定). (2004)

Z.M.Hanafiah、C.Yamazaki、A.Nakamura、Y.Kuno：“使用视觉理解不明确话语的人机语音界面”CHI2004 扩展摘要（已接受）。

Y.Kuno, T.Yoshimura, M.Mitani, A.Nakamura: "Robotic Wheelchair Looking at All People with Multiple Sensors"Proceedings of the IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI 2003). 341-346 (2003)

Y.Kuno、T.Yoshimura、M.Mitani、A.Nakamura：“机器人轮椅用多个传感器观察所有人”IEEE 国际智能系统多传感器融合与集成会议记录 (MFI 2003)。