自己視点・他者視点・固定視点映像の統合解析による人物行動センシング

通过自我视角、他人视角和固定视角视频的综合分析来感知人类行为

基本信息

批准号：
20H04205
负责人：
佐藤洋一
金额：
$ 11.23万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究課題では、自己視点・他者視点・固定視点の異なる視点からの映像を統合解析による人物行動センシングに向けて、研究項目１．自己教師有り学習による複数視点映像の総合解析に適した特量表現学習、研究項目２．異なる視点の映像間でのアラインメント、研究項目３．自己視点映像と固定視点映像の統合による人物行動センシング、研究項目４．自己視点映像と他者視点映像の統合によるインタラクション解析、の４項目について研究に取り組むことを予定している。2022年度は、これまで得られた研究項目１の成果を踏まえ、研究項目２．異なる視点の映像間でのアラインメント、研究項目３．自己視点映像と固定視点映像の統合による人物行動センシング、研究項目４．自己視点映像と他者視点映像の統合によるインタラクション解析のそれぞれに取り組んだ。その結果、少量データからの動作認識モデルの学習、異なるもモダリティ特徴間のインタラクションに基づく動作認識モデルの教師無しドメイン適応、動作認識モデルの振る舞い可視化、自己視点映像による手動作理解の高度化のそれぞれについて研究成果を得た。

该研究主题旨在通过从不同角度的图像，自我观看，其他和固定的角度对图像进行整合，以及研究项目1。特殊表达学习，适用于通过自我接触学习的全面分析，研究项目2。从不同角度进行研究项目。从不同的角度进行图像之间的图像，从不同的角度进行研究。集成自我查看图像和其他视频视频。在2022财年，我们将考虑到迄今为止获得的研究项目1的结果，以及研究项目2。从不同角度，研究项目3。图像之间的对齐方式。通过整合自我视图和固定视图图像，研究项目4。我们通过整合自我视图图像和其他人的观点图像来进行互动分析。结果，我们从少量数据，无监督的域适应运动识别模型基于不同模态特征之间的相互作用，可视化运动识别模型的行为以及使用自我观看图像来改善手部运动的理解，从而获得了学习运动识别模型的研究结果。

项目成果

期刊论文数量（15）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Stacked Temporal Attention: Improving First-person Action Recognition by Emphasizing Discriminative Clips

DOI：
发表时间：
2021-12
期刊：
影响因子：
0
作者：
Lijin Yang;Yifei Huang;Yusuke Sugano;Yoichi Sato
通讯作者：
Lijin Yang;Yifei Huang;Yusuke Sugano;Yoichi Sato

Neural Routing by Memory

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
Kaipeng Zhang;Zhenqiang Li;Zhifeng Li;Wei Liu;Yoichi Sato
通讯作者：
Kaipeng Zhang;Zhenqiang Li;Zhifeng Li;Wei Liu;Yoichi Sato

Compound Prototype Matching for Few-shot Action Recognition

DOI：
10.48550/arxiv.2207.05515
发表时间：
2022-07
期刊：
影响因子：
0
作者：
Lijin Yang;Yifei Huang;Y. Sato
通讯作者：
Lijin Yang;Yifei Huang;Y. Sato

Cross-view Non-local Neural Networks for Joint Representation Learning between First and Third Person Videos

用于第一人称和第三人称视频之间联合表示学习的跨视图非局部神经网络

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
Zhehao Zhu;Yusuke Sugano and Yoichi Sato
通讯作者：
Yusuke Sugano and Yoichi Sato

Analyzing Human Activity and Attention from First-Person Perspectives

从第一人称视角分析人类活动和注意力

DOI：
发表时间：
2020
期刊：
影响因子：
0
作者：
田村剛;坂本尚久;前島康光;野中丈士;Yoichi Sato
通讯作者：
Yoichi Sato

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

佐藤洋一其他文献

架橋としての視覚物－戦地訪問映像を中心に

视觉对象作为桥梁——聚焦战场视察视频

DOI：
发表时间：
2020
期刊：
日本オーラル・ヒストリー研究
影响因子：
0
作者：
Tsukahara Shinji;Pultz Jude;塚原伸治;佐藤洋一;佐藤洋一;西村明
通讯作者：
西村明

The Challenge of Public History in Japan

日本公共历史的挑战

DOI：
发表时间：
2020
期刊：
International Public History Newsletter
影响因子：
0
作者：
佐藤洋一;衣川太一;西村明;西村明;塚本麿充;塚本麿充;菅豊;加藤幸治;Koji Kato;川田牧人;佐藤洋一・衣川太一;佐藤洋一;黒﨑浩行・佐藤壮広・君島彩子・西村明（司会）;鬼頭宏・西村明（聞き手）;菅豊;Yutaka Suga
通讯作者：
Yutaka Suga

『ドイツ民俗学との対話（国際セミナー報告書）』（及川祥平と共編著、全体の編集、ならびに「はじめに」を分担執筆）

《与德国民间传说的对话（国际研讨会报告）》（与及川翔平合编，总编辑并合写“引言”）

DOI：
发表时间：
2020
期刊：
影响因子：
0
作者：
陸薇薇;菅豊;菅豊;菅豊;塚原伸治;俵木悟;俵木悟;俵木悟;俵木悟;宮内泰介;Akira Nishimura;俵木悟;塚原伸治;西村明;Michiyo Yoneno-Reyes;Michiyo Yoneno-Reyes;菅豊;菅豊;菅豊;菅豊;菅豊;菅豊;菅豊;菅豊;加藤幸治;加藤幸治;加藤幸治;川田牧人;小長谷英代;俵木悟;俵木悟;西村明;塚本麿充;塚本麿充;塚本麿充;米野みちよ・平野裕子;Michiyo Yoneno-Reyes;Michiyo Yoneno-Reyes;山下香;山下香;菅豊;菅豊;菅豊;加藤幸治;西村明;西村明;米野みちよ;加藤幸治;加藤幸治;加藤幸治;Konagaya Hideyo;山下香・安枝英俊;俵木悟;俵木悟;俵木悟;俵木悟;西村明;西村明;西村明;米野みちよ;米野みちよ;米野みちよ;塚本麿充;加藤幸治;俵木悟;菅豊;菅豊;菅豊;菅豊;Yutaka Suga;菅豊;菅豊;菅豊;米野みちよ;米野みちよ;Michiyo Yoneno-Reyes;Michiyo Yoneno-Reyes;米野みちよ;塚本麿充;Makito Kawada;Hideyo Konagaya;Hideyo Konagaya;加藤幸治;加藤幸治;加藤幸治;加藤幸治;加藤幸治;加藤幸治;加藤幸治;俵木悟;俵木悟;俵木悟;俵木悟;宮内泰介;宮内泰介;俵木悟;俵木悟;Michiyo Yoneno-Reyes;菅豊;加藤幸治;俵木悟;植田憲司・衣川太一・佐藤洋一編;西村明;塚本麿充;塚本麿充;米野みちよ;平野裕子・米野みちよ・比留間洋一・スシアナ　ヌグラハ;平野裕子・米野みちよ;菅豊;加藤幸治;加藤幸治;加藤幸治;川田牧人;俵木悟;俵木悟;俵木悟;俵木悟;俵木悟;塚原伸治;西村明;西村明;西村明;塚本麿充;菅豊;宮内泰介・上田昌文;川田牧人;山下香;俵木悟;佐藤洋一;西村明;西村明;Michiyo Yoneno-Reyes;川田牧人;川田牧人;川田牧人
通讯作者：
川田牧人

『パブリックヒストリー入門―開かれた歴史学への挑戦―』（菅豊・北條勝貴編著,「「歴史」する聖地空間」を分担執筆）

《公共历史导论：对开放史学的挑战》（菅义丰、北条胜隆主编，合着《历史的神圣空间》）

DOI：
发表时间：
2019
期刊：
影响因子：
0
作者：
陸薇薇;菅豊;菅豊;菅豊;塚原伸治;俵木悟;俵木悟;俵木悟;俵木悟;宮内泰介;Akira Nishimura;俵木悟;塚原伸治;西村明;Michiyo Yoneno-Reyes;Michiyo Yoneno-Reyes;菅豊;菅豊;菅豊;菅豊;菅豊;菅豊;菅豊;菅豊;加藤幸治;加藤幸治;加藤幸治;川田牧人;小長谷英代;俵木悟;俵木悟;西村明;塚本麿充;塚本麿充;塚本麿充;米野みちよ・平野裕子;Michiyo Yoneno-Reyes;Michiyo Yoneno-Reyes;山下香;山下香;菅豊;菅豊;菅豊;加藤幸治;西村明;西村明;米野みちよ;加藤幸治;加藤幸治;加藤幸治;Konagaya Hideyo;山下香・安枝英俊;俵木悟;俵木悟;俵木悟;俵木悟;西村明;西村明;西村明;米野みちよ;米野みちよ;米野みちよ;塚本麿充;加藤幸治;俵木悟;菅豊;菅豊;菅豊;菅豊;Yutaka Suga;菅豊;菅豊;菅豊;米野みちよ;米野みちよ;Michiyo Yoneno-Reyes;Michiyo Yoneno-Reyes;米野みちよ;塚本麿充;Makito Kawada;Hideyo Konagaya;Hideyo Konagaya;加藤幸治;加藤幸治;加藤幸治;加藤幸治;加藤幸治;加藤幸治;加藤幸治;俵木悟;俵木悟;俵木悟;俵木悟;宮内泰介;宮内泰介;俵木悟;俵木悟;Michiyo Yoneno-Reyes;菅豊;加藤幸治;俵木悟;植田憲司・衣川太一・佐藤洋一編;西村明;塚本麿充;塚本麿充;米野みちよ;平野裕子・米野みちよ・比留間洋一・スシアナ　ヌグラハ;平野裕子・米野みちよ;菅豊;加藤幸治;加藤幸治;加藤幸治;川田牧人;俵木悟;俵木悟;俵木悟;俵木悟;俵木悟;塚原伸治;西村明;西村明;西村明;塚本麿充;菅豊;宮内泰介・上田昌文;川田牧人;山下香;俵木悟;佐藤洋一;西村明;西村明;Michiyo Yoneno-Reyes;川田牧人;川田牧人;川田牧人;加藤幸治;加藤幸治;加藤幸治;加藤幸治;俵木悟;菅豊;菅豊;米野みちよ;塚本麿充;川田牧人
通讯作者：
川田牧人

『フィリピン周辺地域の音楽』（ウソパイカダー・米野みちよ・寺田吉孝監修,DVDを共同監修）

《来自菲律宾周边地区的音乐》（乌索派卡达、米野道代、寺田喜孝监督，DVD 共同监督）

DOI：
发表时间：
2019
期刊：
影响因子：
0
作者：
陸薇薇;菅豊;菅豊;菅豊;塚原伸治;俵木悟;俵木悟;俵木悟;俵木悟;宮内泰介;Akira Nishimura;俵木悟;塚原伸治;西村明;Michiyo Yoneno-Reyes;Michiyo Yoneno-Reyes;菅豊;菅豊;菅豊;菅豊;菅豊;菅豊;菅豊;菅豊;加藤幸治;加藤幸治;加藤幸治;川田牧人;小長谷英代;俵木悟;俵木悟;西村明;塚本麿充;塚本麿充;塚本麿充;米野みちよ・平野裕子;Michiyo Yoneno-Reyes;Michiyo Yoneno-Reyes;山下香;山下香;菅豊;菅豊;菅豊;加藤幸治;西村明;西村明;米野みちよ;加藤幸治;加藤幸治;加藤幸治;Konagaya Hideyo;山下香・安枝英俊;俵木悟;俵木悟;俵木悟;俵木悟;西村明;西村明;西村明;米野みちよ;米野みちよ;米野みちよ;塚本麿充;加藤幸治;俵木悟;菅豊;菅豊;菅豊;菅豊;Yutaka Suga;菅豊;菅豊;菅豊;米野みちよ;米野みちよ;Michiyo Yoneno-Reyes;Michiyo Yoneno-Reyes;米野みちよ;塚本麿充;Makito Kawada;Hideyo Konagaya;Hideyo Konagaya;加藤幸治;加藤幸治;加藤幸治;加藤幸治;加藤幸治;加藤幸治;加藤幸治;俵木悟;俵木悟;俵木悟;俵木悟;宮内泰介;宮内泰介;俵木悟;俵木悟;Michiyo Yoneno-Reyes;菅豊;加藤幸治;俵木悟;植田憲司・衣川太一・佐藤洋一編;西村明;塚本麿充;塚本麿充;米野みちよ;平野裕子・米野みちよ・比留間洋一・スシアナ　ヌグラハ;平野裕子・米野みちよ;菅豊;加藤幸治;加藤幸治;加藤幸治;川田牧人;俵木悟;俵木悟;俵木悟;俵木悟;俵木悟;塚原伸治;西村明;西村明;西村明;塚本麿充;菅豊;宮内泰介・上田昌文;川田牧人;山下香;俵木悟;佐藤洋一;西村明;西村明;Michiyo Yoneno-Reyes;川田牧人;川田牧人;川田牧人;加藤幸治;加藤幸治;加藤幸治;加藤幸治;俵木悟;菅豊;菅豊;米野みちよ
通讯作者：
米野みちよ