Development of high-speed vision system for online video communication

在线视频通信高速视觉系统开发

• 批准号: 21K17783
• 负责人: 金 賢梧
• 金额: $ 2.33万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K17783/
• 关键词: 高速カメラネットワーク; 顔ポーズトラッキング; 同期精度評価手法; 高速ビジョンシステム; 遠隔映像コミュニケーション; コミュニケーション支援; コンピュータビジョン; 機械学習

本研究では、1,000fpsの高速スマートカメラネットワークとAI基盤の顔認識技術を発展させ、オンライン会議向けの最適映像取得と低遅延提示が可能な高速ビジョンシステムの実現を目指している。2022年度では、高速ビジョンシステムの動的構造化と高速な最適画像提示手法の定立を目標に下記のような研究を遂行した。 まず、高速カメラネットワークにおけるマルチカメラの視線を適応的に可変できるように、多関節リンク構造と小型アクチュエータから構成される６軸電動カメラ土台を導入して、各カメラの視線が同平面内で自由に制御できるような動的カメラシステムを構築した。カメラシステムのアクチュエータはエンコーダおよび小型プロセッサーを内蔵したものであり、外部コントローラが不要でネットワーク指令だけで動作できるため、簡素化と拡張性に優れた構造となる。本動的カメラシステムを用いることでマネキンの顔画像を多様な方向から撮像でき、AIによる高速顔姿勢認識に必要な学習データを習得することができた。 また、マルチカメラから得られるマルチ画像を適切に提示するためのトラッキング手法について研究を行い、マルチカメラ画像間を跨って移動する複数のターゲットを同定・トラッキングする手法を提案し、2次元的な動きに対する有効性を検証した。今年度の成果である動的な視線制御およびマルチカメラでのトラッキング手法を活用し、最適な画像提示ができる高速ビジョンシステムのプロトタイプを実装・評価する予定である。

This study aims to develop the technology of color recognition of AI substrate at 1,000fps, obtain the optimal image of the conference orientation, and provide a low-latency indication for the possibility of high speed color recognition. In 2022, the following research was carried out on the construction of high-speed video system and the establishment of high-speed optimal video system. The 6-axis electric power transmission platform is introduced into the high-speed power transmission system, and each power transmission system is constructed in the same plane, so that the power transmission system can be freely controlled. For example, if you want to use a computer, you can use a computer. If you want to use a computer, you can use a computer. The original motion of the image is used in multiple directions, such as image acquisition, AI, high-speed image recognition, learning, etc. The method of study is carried out in the middle of the study, and the method of moving between images is proposed. The method of two-dimensional motion is proved to be effective. This year's achievements include the use of dynamic line control and selection methods, and the optimal use of image prompts for high-speed selection and selection.

项目成果

Seamless Multiple-Target Tracking Method Across Overlapped Multiple Camera Views Using High-Speed Image Capture

使用高速图像捕捉的跨重叠多个摄像机视图的无缝多目标跟踪方法

• DOI: 10.20965/jrm.2022.p1043
• 发表时间: 2022
• 期刊: Journal of Robotics and Mechatronics
• 影响因子: 1.1
• 作者: Hyuno Kim;Yuji Yamakawa;Masatoshi Ishikawa
• 通讯作者: Masatoshi Ishikawa

Direct face pose estimation using multiple camera views and deep learning

使用多个摄像机视图和深度学习进行直接面部姿势估计

• 发表时间: 2023
• 作者: Hyuno Kim;Seohyun Lee;Yuji Yamakawa
• 通讯作者: Yuji Yamakawa