Language explanations about real-world based on human predictive functions that capture the physical environment

基于捕捉物理环境的人类预测功能对现实世界的语言解释

基本信息

批准号：
22KJ1355
负责人：
黒田彗莉
金额：
$ 1.6万
依托单位：
Ochanomizu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ1355/
关键词：
物理特性グラフ埋め込み変化点抽出物理的関係の階層構造

项目摘要

今年度はヒトのように実世界に存在する物体や事象についての物理的因果特性を捉え、次ステップ先の変化点を予測できる機械学習モデルを構築する。モデルを構築するにあたり、動画像のワンシーンに写っている対象を正しく認識したうえで、その対象の物理特性を捉えられるように機械学習モデルを構築する。本研究では画像そのものを入力情報とするのではなく、画像内に写っている物体をグラフ構造として表現した情報を用いる。画像内に写る物体を形状・色・素材を用いて物体認識をし、物体の種類と位置を取得することでグラフ構造を作成する。また同時に得られた位置情報から各物体の速度や加速度といった物理特性を算出する。これらの情報をあわせて訓練データを作成し、本研究の先行研究であるVariational Temporal Abstraction(VTA)を用いて実世界で起きている現象の変化点の抽出した。また正しく変化点が抽出できたかどうかを精度を算出して検証した。結果から物理特性の変化からも実環境の変化点を抽出することができた。また変化点として出力されたグラフを入力情報とした、将来のイベントに関する変化点予測モデルを構築した。構築したモデルの機能の正当性を検証するために、予測画像と予測変化点の抽出をし、変化点については正解データとの精度を算出した。結果から新たに構築した変化点予測モデルで、次ステップの変化点抽出とそのときの予測画像について正しく生成することができた。

今年，我们将建立一个机器学习模型，该模型捕获现实世界中存在的物体和事件的物理因果特性，例如人类，并可以预测下一步遵循的变化点。构建模型时，会构建机器学习模型，以便它可以正确识别视频场景中捕获的对象，然后捕获对象的物理属性。在这项研究中，而不是将图像本身用作输入信息，而是将图像中对象表示为图形结构的信息。使用形状，颜色和材料识别出图像中捕获的对象，并且通过获取对象类型和位置来创建图形结构。此外，从同时获得的位置信息计算出每个对象的速度和加速度等物理特性。将这些信息组合在一起以创建训练数据，并使用变异时间抽象（VTA）提取了现实世界中现象的变化，这是本研究的先前研究。此外，计算准确性并验证了是否正确提取了更改点。从结果来看，我们也能够从物理属性的变化中提取实际环境中的变更点。此外，使用图形输出作为输入信息，构建了将来事件的更改点预测模型。为了验证构造模型功能的有效性，提取了预测的图像和预测的更改点，并计算了更改点的正确数据的准确性。新构建的变更点预测模型能够正确生成下一步更改点提取和当时预测的图像。

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Extraction of Motion Change Points Based on the Physical Characteristics of Objects

DOI：
10.1109/prml59573.2023.10348369
发表时间：
2023-08
期刊：
2023 IEEE 4th International Conference on Pattern Recognition and Machine Learning (PRML)
影响因子：
0
作者：
Eri Kuroda;Ichiro Kobayashi
通讯作者：
Eri Kuroda;Ichiro Kobayashi

物理環境におけるヒト脳内での予測符号化を模倣した変化点予測モデル構築への取り組み

努力建立一个变化点预测模型，模拟物理环境中人脑的预测编码