Development of Motion Generation Technology to Realize Robots that Perform Various Tasks according to Natural Language Instructions

开发运动生成技术以实现根据自然语言指令执行各种任务的机器人

• 批准号: 21H04910
• 负责人: 橋本 敦史
• 金额: $ 26.87万
• 依托单位: OMRON SINIC X Corporation
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-05 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H04910/
• 关键词: 自然言語処理; クロスモーダル処理; ロボティクス

本研究の骨子は(A-1)言語指示からの環境・身体性非依存な動作記述生成、(A-2)力学的インタラクションに基づく動作系列の生成、(B-1) Inter-object centricprogrammingに基づいたAPIの実現、ならびに(B-2) 力学的インタラクションに基づいた作業模倣の4つとなる。このうち(A-1)について、昨年度から取り組みを開始した画像生成については、成功する場合もあるものの十分な性能を達成するところまでは至っていない。このため、現在は性能の向上に取り組んでいる。それに加え、以前より収集していた多数のキッチンでの調理を観測した大規模映像データに対して、昨年度策定のアノテーション基準に従ってアノテーションを開始している。(A-2)は昨年度、画像からわかる人と物体とのインタラクションの解析に注力するバックアッププランに転換をした。詳細動作認識のタスクで精度向上をすることができたが、動作抽出への応用などができていないため、十分なインタラクション解析技術の実現には至っていない。(B-1)について、特定の食材を取ってきてぶつ切りにし、皿へ移動するまでに必要なスキルセット、および、それらの組合せによる実際の切断を行うことができた。また、既存のシミュレーターを改修し、力学的インタラクションを考慮した食材切断のシミュレーター開発の取り組みを開始した。(B-2)について、昨年度開発した汎用性のあるグリッパによる食材把持技術を拡張し、未知食材についても把持を行う機械学習アルゴリズムを開発した。これにより、多様な食材を把持することができる状態となった。また、ぶつ切り以外の多様な切断パターンを生成する学習型アルゴリズムを開発した。これにより、把持と切断の個別タスクについては動作生成が可能になった。

The purpose of this study is to instruct the description of environmental physical independence, the generation of a series of basic actions of mechanics, the discovery of Inter-object centricprogramming, the demonstration of API, and the operation model of physical independence of the environment. Last year, the collection group started to generate video images, and the performance was very high. Now that the performance is up, the performance is up and down. In recent years, most of the previous data sets have caused significant changes in the image of the large-scale model, which was set for the first time last year. (Amur2) Last year, the portrait was filled with human beings and objects. The accuracy of the motion information system is improved, and the action extraction system is used to improve the accuracy of the system. (BMMI 1) it is necessary to cut the food, the food and the food. The equipment, the existing equipment, the mechanical engineering test, the food cut-off test, the start-up of the equipment acquisition kit, and the start of the test. (BMY2) No, no, no, no. There is a lot of food to control the status of the food. In addition to multi-purpose cutting, multi-purpose cut-off operation is used to generate a general knowledge-based operating system. It is possible to generate an error in the action of controlling and controlling the operation of the device.

项目成果

Learning by Breaking: Food Fracture Anticipation for Robotic Food Manipulation

通过打破学习：机器人食物操作的食物破裂预期

• DOI: 10.1109/access.2022.3207491
• 发表时间: 2022
• 期刊: IEEE Access
• 影响因子: 3.9
• 作者: Ishikawa Reina;Hamaya Masashi;Von Drigalski Felix;Tanaka Kazutoshi;Hashimoto Atsushi
• 通讯作者: Hashimoto Atsushi

BioVL2: An Egocentric Biochemical Video-and-Language Dataset

BioVL2：以自我为中心的生化视频和语言数据集

• DOI: 10.5715/jnlp.29.1106
• 发表时间: 2022
• 期刊: Journal of Natural Language Processing
• 作者: Nishimura Taichi;Sakoda Kojiro;Ushiku Atsushi;Hashimoto Atsushi;Okuda Natsuko;Ono Fumihito;Kameko Hirotaka;Mori Shinsuke
• 通讯作者: Mori Shinsuke

制御装置、制御方法、及び制御プログラム

控制装置、控制方法以及控制程序

• 发表时间: 2022

State-aware video procedural captioning

• DOI: 10.1007/s11042-023-14774-7
• 发表时间: 2021-10
• 期刊: Multimedia Tools and Applications
• 影响因子: 3.6
• 作者: Taichi Nishimura;Atsushi Hashimoto;Y. Ushiku;Hirotaka Kameko;Shinsuke Mori

Visual Recipe Flow: A Dataset for Learning Visual State Changes of Objects with Recipe Flows

• DOI: 10.48550/arxiv.2209.05840
• 发表时间: 2022-09
• 期刊: ArXiv
• 作者: Keisuke Shirai;Atsushi Hashimoto;Taichi Nishimura;Hirotaka Kameko;Shuhei Kurita;Y. Ushiku;Shinsuke Mori