Research of an intelligent robot which observes human action sequences, understands these, and generates a program for the task.

研究智能机器人，它观察人类的动作序列，理解这些序列，并生成执行任务的程序。

• 批准号: 03452137
• 负责人: INOUE Hirochika
• 金额: $ 4.35万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for General Scientific Research (B)
• 财政年份: 1991
• 资助国家: 日本
• 起止时间: 1991 至 1992
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-03452137/
• 关键词: robot teaching method; teaching by showing; control of visual attention; action understanding; robot programming; 注視点の制御; 実演による作業教示; 実時間ロボット視覚; 注視点制御; ビジュアルトラッキング

"Teaching by Showing" is a straightforward teaching method in which a human instructor shows an assembly task to the robot by simply performing it with his own hand, and the robot automatically generates a program by watching the example task. For such a method to be realized, visual recognition of human action sequences becomes a crucial issue. In this research, a prototype system that demonstrates the teaching method is developed. The system observes example tasks by stereo video cameras and generates symbolic descriptions of action sequences, which are translated into manipulator command sequences. Actions are modelled as partial state changes over segmented time intervals. And the partial state descriptors constitute the environment model. Segmentation events are defined for actions involved in hand assembly tasks, which are detected in terms of time differences of visual features. Integrating these, an algorithm of action recognition is fully described. It automatically segments and classifies every action in a robust and efficient manner. An experiment revealed that the system can recognize each action correctly in real time, and it can carry out the instructed task successfully.

“演示教学”是一种直接的教学方法，其中人类教师通过简单地用自己的手执行装配任务来向机器人展示装配任务，机器人通过观看示例任务自动生成程序。为了实现这样的方法，人类动作序列的视觉识别成为一个至关重要的问题。在本研究中，一个原型系统，演示教学方法的开发。该系统通过立体视频摄像机观察示例任务，并生成动作序列的符号描述，这些符号描述被翻译成机械手命令序列。动作被建模为分段时间间隔上的部分状态变化。部分状态描述子构成环境模型。分割事件被定义为手动装配任务中涉及的动作，这些动作根据视觉特征的时间差来检测。结合这些，详细描述了一种动作识别算法。它以稳健、高效的方式自动对每个动作进行分段和分类。实验结果表明，该系统能够真实的实时地正确识别每个动作，并能顺利完成指令任务。

项目成果

國吉 康夫: "Indexicality and Dynamic Attension Control in Qualitative Recognition of Assembly Actions" Computer Vision (ECCV'92,Lecture Notes in Computer Science). 588. 874-878 (1992)

Yasuo Kuniyoshi：“装配动作定性识别中的索引性和动态注意力控制”计算机视觉（ECCV92，计算机科学讲义）588. 874-878 (1992)。

國吉 康夫: "人間が実演して見せる作業の実時間視覚認識とそのロボット教示への応用" 日本ロボット学会誌. vol.9No.3. 295-303 (1991)

Yasuo Kuniyoshi：“人类执行的任务的实时视觉识别及其在机器人教学中的应用”日本机器人学会杂志第 9 卷第 295-303 期（1991 年）。

稲葉 雅幸: "ハンドアイシステム" 日本ロボット学会誌. 10. 165-170 (1992)

Masayuki Inaba：“手眼系统”日本机器人学会杂志 10. 165-170 (1992)。

Y.KUNIYOSHI, H.INOUE, M.INABA: "Seeing, Understanding and Doing Human Task" Proc. IEEE Robotics and Automation. 2-9 (1992)

Y.KUNIYOSHI、H.INOUE、M.INABA：“观察、理解和执行人类任务”Proc。

遠藤 公誉: "ポテンシャル法による対象の見え方の制御" 第9回日本ロボット学会学術講演会. 573-574 (1991)

Kimiyo Endo：“使用势能方法控制物体的外观”日本机器人学会第九届学术会议573-574（1991）。