顔形状復元によるデータ生成と自己教師型補助タスクに基づく視線推定器のドメイン適応

基于人脸形状重建和自监督辅助任务数据生成的注视估计器的域适应

• 批准号: 21K11932
• 负责人: 菅野 裕介
• 金额: $ 2.66万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K11932/
• 关键词: 視線推定; コンピュータビジョン; 機械学習; ドメイン適応

本年度は、前年度に検討した3次元復元に基づく学習データ生成手法と、特徴分離を元にしたドメイン適応手法を統合した手法の実装・検証を行った。既存の訓練データに含まれる顔画像データのほとんどは正面顔であるが、顔形状の3次元復元を行い新たな顔向きでレンダリングすることで学習データに含まれる顔向きを拡張することができる。この時、生成データと実データの見えのさを吸収するための教師なしドメイン適応が重要になるが、単にターゲットドメインにおける疑似タスクを導入するのではなく、視線と頭部姿勢、その他の要因を表現する3つの内部特徴を事前学習の際に分離することでより効果的なドメイン適応が実現できる。顔領域以外の背景領域がランダム生成になっている生成データの特性に注目し、ターゲットドメイン画像で疑似的に背景領域を入れ替えた画像を生成した際に推定結果が変化しない、という拘束を新たに損失関数として導入し、これによる精度向上結果を確認した。また、生成データの新たな活用として、これまでの単眼入力に基づくアピアランスベース視線推定だけではなく、複数のカメラ入力を用いたアピアランスベース視線推定モデルの開発に新たに取り組んだ。生成データのみで複眼アピアランスベース視線推定モデルが学習できることは実用上も大きな利点となる。さらに、未知の環境に視線推定モデルを適応する本課題から派生した新たなタスクとして、アイコンタクト検出モデルの教師なし学習という問題設定を提案し検証を行った。任意のビデオ入力を元にアイコンタクトが発生しているフレームを検出するモデルを学習することは容易な課題ではないが、提案手法では視線推定モデルの出力を元に与えた疑似ラベルを使って、多種多様なビデオからアイコンタクトのセグメンテーションモデルを学習する手法を提案した。

This year's review of the three-dimensional complex learning method, feature separation, and integration of the method. The existing training data includes the color image data, the color shape data and the three-dimensional complex data. This time, the generation of data and the observation of the absorption of information, the teacher's choice of appropriate information, important information, simple information, the introduction of suspect information, the line of sight, the head posture, and other important factors in the performance of the internal characteristics of the prior study of separation, the results of the selection of appropriate information. The background field outside the color field is generated by adding the image to the background field, and the estimated result is changed to the new one. In addition, it is necessary to use the new method of generating the image, and the new method of generating the image is necessary to select the new method of generating the image. Create a compound eye for learning, and use it to make a profit. This topic is based on the estimation of the visual line in the unknown environment, and the problem setting of the teacher's learning is proposed and verified. Any input force element can be generated and detected. The problem is easy to learn. The proposal method can be used to estimate the output force element of the unit. The proposal method can be used to learn.

项目成果

Learning-by-Novel-View-Synthesis for Full-Face Appearance-Based 3D Gaze Estimation

• DOI: 10.1109/cvprw56347.2022.00546
• 发表时间: 2022-01
• 期刊: 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)
• 作者: Jiawei Qin;Takuru Shimoyama;Yusuke Sugano

ラベル分布の異なるドメインに対するアピアランスベース視線推定モデルの教師無し適応

基于外观的注视估计模型对具有不同标签分布的领域的无监督适应

• 发表时间: 2021
• 作者: 下山拓流;菅野裕介
• 通讯作者: 菅野裕介

View-consistent Feature Alignment for Multi-view Appearance-based Gaze Estimation

基于多视图外观的注视估计的视图一致特征对齐

• 发表时间: 2022
• 作者: Yoichiro Hisadome;Yusuke Sugano
• 通讯作者: Yusuke Sugano

Learning Video-Independent Eye Contact Segmentation from?In-the-Wild Videos

从野外视频中学习与视频无关的眼神接触分割

• DOI: 10.1007/978-3-031-26316-3_4
• 发表时间: 2023
• 期刊: Lecture Notes in Computer Science (ACCV2022)
• 作者: Wu Tianyi;Sugano Yusuke
• 通讯作者: Sugano Yusuke

人にひらかれたメディア理解に向けて ―人を理解する、人と理解する―

理解受人启发的媒体 - 理解人，理解人 -

• 发表时间: 2022
• 作者: Qin Jiawei;Shimoyama Takuru;Sugano Yusuke;菅野裕介
• 通讯作者: 菅野裕介