機械学習に基づいた未言語事象の理解と説明に関する研究

基于机器学习的理解和解释非语言现象的研究

• 批准号: 22H00545
• 负责人: 佐川 立昌
• 金额: $ 26.62万
• 依托单位: National Institute of Advanced Industrial Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2027-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H00545/
• 关键词: 未言語事象; 教師なし学習; 理解モデル; 人の行動モデル化

機械学習による主要な認識タスクの１つは、入力データに対応するラベルの推定問題であるが、現実世界では自然言語で説明し難い事象が多くあり、推定すべきラベルを適切に設定できないことがある。本研究課題では、明示的にラベルと対応付けられない事象を「未言語事象」と呼ぶことにする。未言語事象における各個人固有の理解モデルを観測データから構築し、することによって、教師なし学習に基づいて構造化した理解モデルを、言語を介せず説明、比較する手法の実現を目指す。本年度は、未言語事象の理解モデルを構築する方法として、同一の行動を含む行動データを観測し、データ内に共通する要素を抽出する手法の研究開発を行った。環境の観測によって得られる時間的に連続量であるセンシングデータに対して、アテンション機構に基づいて特徴量を抽出し、その特徴量を量子化するステップと組み合わせることによって、離散的な構造表現となる構成要素の状態を抽出する方法を研究した。また、様々な行動に関するデータを対象とするために、本年度は身体動作、注視行動、視野情報、筋活動状態、ロボット操作データなどを入力として、カメラによる視覚情報と、人が機器や道具を操作して得られる操作データなどマルチモーダルなデータを利用した機械学習の実験およびデータ収集を行った。また、画像から身体の位置姿勢を推定する手法、身体動作モーションキャプチャデータと筋電位計データを組み合わせた筋活動状態の推定手法の研究を行った。

Mechanical learning is mainly about understanding the problem of 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 10, 11, 10 This research topic is about explicit and explicit events, non-verbal events, and verbal events. Each individual has his own understanding of the language, and his understanding of the language is based on his understanding of the language, and his understanding of the language. This year, we will carry out research and development on the methods of understanding and constructing the same speech image, including the methods of measuring and extracting common elements in the speech image. This paper studies the method of extracting the characteristic quantity of the basic structure of the environment, quantizing the characteristic quantity of the structure, combining the characteristic quantity of the structure, and extracting the state of the component element. This year's body movement, gaze movement, visual information, muscle activity status, visual information, human and machine operation, mechanical learning, and mechanical collection. Research on the estimation method of body position and posture, body movement, muscle activity state

项目成果

Deformable Mesh Transformer for 3D Human Mesh Recovery

• DOI: 10.1109/cvpr52729.2023.01631
• 发表时间: 2023-06
• 期刊: 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
• 作者: Y. Yoshiyasu

Estimating Muscle Activity from the Deformation of a Sequential 3D Point Cloud

• DOI: 10.3390/jimaging8060168
• 发表时间: 2022-06-13
• 期刊: Journal of Imaging
• 影响因子: 3.2

Attentionの可視化による人間行動の構造解析

通过可视化注意力对人类行为进行结构分析

• 发表时间: 2022
• 作者: 阿部 哲也;佐川 立昌;伊藤 孝浩;酒井 勁佑
• 通讯作者: 酒井 勁佑