人間協調マルチメディア相互支援による人間と環境の観察に基づくインタラクション

通过人类协作多媒体相互支持，基于人与环境观察的交互

• 批准号: 14019012
• 负责人: 久野 義徳
• 金额: $ 4.16万
• 依托单位: Saitama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 2003
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-14019012/
• 关键词: コンピュータビジョン; ヒューマンインターフェース; マルチモーダルインターフェース; 非言語コミュニケーション; 視線; 意図理解; サービスロボット; 車椅子

音声によりロボットと対話できれば、ロボットとのコミュニケーションが容易になる。音声理解については多くの研究があるが、音声で伝達される言語の表面的理解だけでは、ロボットに人間の意図を理解させ、それに基づいた行動を実行させることはできない。ロボットは発話中の物体と実世界の物体を視覚により対応させる必要がある。ここでは、頼まれたものを取ってくるロボットを例にして、音声による依頼を理解してものを取ってくるのに必要な視覚情報処理を検討した。まず、環境内に存在する物体を家具等の環境にほぼ固定された物体(付着対象)と、その他の一般の物体(遊離対象)に分けた。前者については動くことはあまりなく、また視覚で認識しにくいので、最初は人間が音声で誘導し、そこに着いたら、環境に配置されたマークを視覚で認識することによりその位置を求め、地図に記録する。後者については、要素的な画像処理を用意しておき、その処理の組合せと、各処理中のパラメータを変えながら、対象が検出できる処理手順を探索する。成功したら、その際の組合せとパラメータを関連する付着対象と関連付けて記憶する。ロボットを使ううちに、ある物体は特定の場所(付着対象)にあることが多いことがわかってくると、記憶した画像処理手順から調べることにより、効率的に物体が認識できる。また、人間との対話においても、その特定の場所にあるかどうかの確認だけで済むようになり、インタラクションの負担が軽減する。実際に対話と視覚情報処理を行うシステムを開発し、有効性を実験により確認した。また、以上の他に、周囲環境を認識することにより、簡単な音声指令で操縦することのできる知的車椅子を開発し、実験により有効性を示した。

The sound of the voice is very easy to hear. Sound understanding, sound understanding, surface understanding, human understanding, basic understanding, action The object in the speech is necessary for the object in the world This paper discusses the necessary visual information processing for the purpose of analyzing and analyzing the visual information. There are objects in the environment, such as furniture, fixed objects (attached objects) and other general objects (free objects). The former is the first to be recognized by the human voice, the latter by the environment, and the latter by the ground. The latter is related to the image processing of the elements, the combination of the processing, the processing of the image processing, and the processing sequence. The combination of success and success is related to each other. The object is in a specific place (paying object), and the memory is processed in a sequential manner. The burden of identifying and identifying specific locations is reduced. When you are looking for a job, you will find that you have a job. To understand the above aspects, the environment, the simple voice command, the operation, the knowledge of the car chair, the development, the performance, the

项目成果

Yoshinori Kuno: "Intelligent Wheelchair Looking at Pedestrians and the Caregiver"Proceedings of the 10th International Conference on Human-Computer Interaction. (To appear). (2003)

久野义德：“智能轮椅观察行人和护理人员”第十届国际人机交互会议论文集。

Kawasaki, H., Nakamura, A., Kuno, Y.: "Memory Aid System by Monitoring Everyday Life"Proceedings of the Second IASTED International Conference on Visualization, Imaging, and Image Processing. 662-667 (2002)

Kawasaki, H.、Nakamura, A.、Kuno, Y.：“通过监控日常生活的记忆辅助系统”第二届 IASTED 国际可视化、成像和图像处理会议论文集。

Kuno Y., Shimada, N., Shirai, Y.: "Look Where You're Going"IEEE Robotics and Automation Magazine. Vol.9,No.1(印刷中). (2003)

Kuno Y.、Shimada, N.、Shirai, Y.：“看看你要去哪里”IEEE 机器人和自动化杂志第 9 卷，第 1 期（2003 年）。

Jeong M.H., Kuno Y., Shimada, N., Shirai, Y.: "Recognition of Shape-Changing Hand Gestures"IEICE Transactions on Information and Systems. Vol.E85-D. 1678-1687 (2002)

Jeong M.H.、Kuno Y.、Shimada, N.、Shirai, Y.：“形状变化手势的识别”IEICE 信息和系统交易。

Kuno, Y., Nakamura, A.: "Robotic Wheelchair Looking at All People"CHI 2003 Extended Abstracts. (To appear). (2003)

Kuno, Y., Nakamura, A.：“机器人轮椅看着所有人”CHI 2003 扩展摘要。