Development of Semi-Supervised Learning Method using Compressed Video for Real-Time Animal Behavior Analysis

使用压缩视频进行实时动物行为分析的半监督学习方法的开发

• 批准号: 22H03637
• 负责人: 山本 雅人
• 金额: $ 11.15万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03637/
• 关键词: 深層学習; 半教師あり学習; 行動分類; 群行動解析; 行動認識; 圧縮動画; インタラクション; 群れ行動

本研究は，カメラから取得した動画データに映る人や動物などの行動分類をリアルタイムに行うための手法として，多くの教師データを必要としない半教師あり学習にもとづく手法の開発を目的とする．さらに，動物園の動物を対象とした実証実験をとおして，動物の群れ行動の解析と動物とリアルタイムにインタラクションするシステムの開発を行うものである．初年度では，動画データから動物(ホッキョクグマとアジアゾウ)の検出とトラッキングを行う技術開発を行い，対象とする動物をクロッピングする精度向上を行った．特にホッキョクグマでは98％以上の精度での検出，アジアゾウでは2頭が飼育されているため，検出と個体識別，さらにトラッキングを同時に行う手法を提案し，総合的評価であるHOTAという尺度で，0.75程度の性能を示すことが可能であることを確認した．一方，動物を適切クロッピングできたと過程した場合の半教師あり学習については，動画データを，空間情報が含まれる I-frameと動きの情報を捉えたMotion Vector，さらに，I-frameとの差分情報をもつResidualに分けてそれぞれが学習を行う手法を提案した．UCF－101，HMDB-51，Kinetics-100などのデータセットに対して，ラベル付けされたデータの割合毎の正解率が既存手法より多くの場合で上回ることを示した．

This study aims to explore the ways and means of learning how to develop the skills of teachers. In addition, the zoo animals are related to the development of animal behavior analysis and animal behavior analysis. In the beginning of the year, the animation of animals ( The accuracy of detection is more than 98%, and the detection of individual identification is more than 98%. The performance of detection is more than 0.75%. On the one hand, animals are suitable for learning, animation, spatial information, including I-frame and Motion information, Motion Vector, I-frame differential information, Residual information, learning, and motion method proposal.UCF-101, HMDB-51, Kinetics-100 The correct solution rate of the split of the original method is different from that of the previous method.

项目成果

Path planning in multi-robot systems

多机器人系统中的路径规划

• 发表时间: 2022
• 作者: Ryo Yanagisawa;Susumu Saito;Teppei Nakano;Tetsunori Kobayashi;Tetsuji Ogawa;鳴海拓志;井本 桂右;Yasumasa Tamura
• 通讯作者: Yasumasa Tamura

Learning shared embedding representation of motion and text using contrastive learning

• DOI: 10.1007/s10015-022-00840-0
• 发表时间: 2022-12
• 期刊: Artificial Life and Robotics
• 影响因子: 0.9
• 作者: Junpei Horie;Wataru Noguchi;H. Iizuka;Masahito Yamamoto

人工知能技術による社会応用と技能伝承

利用人工智能技术的社会应用和技能转移

• 发表时间: 2022
• 作者: Yuta Ide;Susumu Saito;Teppei Nakano;Tetsuji Ogawa;山本雅人
• 通讯作者: 山本雅人

Compressed video ensemble based pseudo-labeling for semi-supervised action recognition

• DOI: 10.1016/j.mlwa.2022.100336
• 发表时间: 2022-05
• 期刊: Machine Learning with Applications
• 作者: Hayato Terao;Wataru Noguchi;H. Iizuka;Masahito Yamamoto

Crossover using Backpropagation for Evolutionary Artificial Neural Networks

使用进化人工神经网络的反向传播进行交叉

• 发表时间: 2022
• 作者: Yuki Okamoto;Keisuke Imoto;Shinnosuke Takamichi;Ryosuke Yamanishi;Takahiro Fukumori;and Yoichi Yamashita;李昌，松本啓吾，鳴海拓志，葛岡英明;Yasumasa Tamura
• 通讯作者: Yasumasa Tamura