Development of high-speed vision system for online video communication

本研究では、1,000fpsの高速スマートカメラネットワークとAI基盤の顔認識技術を発展させ、オンライン会議向けの最適映像取得と低遅延提示が可能な高速ビジョンシステムの実現を目指している。2022年度では、高速ビジョンシステムの動的構造化と高速な最適画像提示手法の定立を目標に下記のような研究を遂行した。 まず、高速カメラネットワークにおけるマルチカメラの視線を適応的に可変できるように、多関節リンク構造と小型アクチュエータから構成される６軸電動カメラ土台を導入して、各カメラの視線が同平面内で自由に制御できるような動的カメラシステムを構築した。カメラシステムのアクチュエータはエンコーダおよび小型プロセッサーを内蔵したものであり、外部コントローラが不要でネットワーク指令だけで動作できるため、簡素化と拡張性に優れた構造となる。本動的カメラシステムを用いることでマネキンの顔画像を多様な方向から撮像でき、AIによる高速顔姿勢認識に必要な学習データを習得することができた。 また、マルチカメラから得られるマルチ画像を適切に提示するためのトラッキング手法について研究を行い、マルチカメラ画像間を跨って移動する複数のターゲットを同定・トラッキングする手法を提案し、2次元的な動きに対する有効性を検証した。今年度の成果である動的な視線制御およびマルチカメラでのトラッキング手法を活用し、最適な画像提示ができる高速ビジョンシステムのプロトタイプを実装・評価する予定である。

本研究では、1,000fpsの高速スマートカメラネットワークとAI基盤の顔認識技術を発展させ、オンライン会議向けの最適映像取得と低遅延提示が可能な高速ビジョンシステムの実現を目指している。2022年度では、高速ビジョンシステムの動的構造化と高速な最適画像提示手法の定立を目標に下記のような研究を遂行した。 まず、高速カメラネットワークにおけるマルチカメラの視線を適応的に可変できるように、多関節リンク構造と小型アクチュエータから構成される６軸電動カメラ土台を導入して、各カメラの視線が同平面内で自由に制御できるような動的カメラシステムを構築した。カメラシステムのアクチュエータはエンコーダおよび小型プロセッサーを内蔵したものであり、外部コントローラが不要でネットワーク指令だけで動作できるため、簡素化と拡張性に優れた構造となる。本動的カメラシステムを用いることでマネキンの顔画像を多様な方向から撮像でき、AIによる高速顔姿勢認識に必要な学習データを習得することができた。 また、マルチカメラから得られるマルチ画像を適切に提示するためのトラッキング手法について研究を行い、マルチカメラ画像間を跨って移動する複数のターゲットを同定・トラッキングする手法を提案し、2次元的な動きに対する有効性を検証した。今年度の成果である動的な視線制御およびマルチカメラでのトラッキング手法を活用し、最適な画像提示ができる高速ビジョンシステムのプロトタイプを実装・評価する予定である。