VRアバタコミュニケーションのアクセシビリティ向上のためのアバタ操作支援技術

虚拟形象操作支持技术，提高VR虚拟形象通信的无障碍性

• 批准号: 21K11991
• 负责人: 森 博志
• 金额: $ 2.66万
• 依托单位: Utsunomiya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K11991/
• 关键词: アバタ; モーションキャプチャ; バーチャルリアリティ

本研究では、バーチャルリアリティ（以下、VR）において利用者の自己投射対象であるCGアバタを利用者の意図通りに操作可能なアバタ動作の操作支援技術を確立する。アバタはVRにおける人の代替映像として用いられ、モーションキャプチャ技術を用いて操作者の動作情報を取得しCGアバタモデルに反映することで構成される。その際、意図した通りのアバタ動作の構成のために、操作者にはVR空間における整合性を意識した詳細な演技による継続的な操作入力が求められる。そこで本研究では、検討を進めてきた一部の身体部位の姿勢情報からのアバタ動作の構成技術を基に、アバタが介在するVR空間との整合性を保持しつつ任意の操作情報から操作者の意図を反映するアバタ動作の構成と、任意の操作頻度から半自動的に本物性と整合性を保持したアバタ動作の構成を可能にする。2022年度は，マルチモーダル入力情報に基づく意図を反映したアバタ動作の構成手法の検討として，感覚モダリティの維持を目的とした任意の身体部位における姿勢情報，および視線情報を入力操作情報として利用したアバタの操作支援手法を確立した。また，本手法において深層学習に用いるアバタの多様な全身の動作データの確保のために，初学者でも簡易に制作が可能な低詳細な動作データをモーションキャプチャで制作した高詳細な動作データに変換する動作データの高詳細化手法を確立し，動作データの制作のための支援技術として有効であることを確認した。

This study で は, バ ー チ ャ ル リ ア リ テ ィ (hereinafter, VR) に お い て ik の project yourself as で seaborne あ る CG ア バ タ を ik の meaning 図 tong り に operation may な ア バ タ action の を operation support technology to establish す る. ア バ タ は VR に お け の る people instead of image と し て in い ら れ, モ ー シ ョ ン キ ャ プ チ を ャ technology with い の action intelligence を て operators achieve し CG ア バ タ モ デ ル に reflect す る こ と で constitute さ れ る. そ の interstate, Italy 図 し た tong り の ア バ タ action の constitute の た め に, operator に は VR space に お け る integrated を consciousness し た detailed な acting に よ る 継 続 な operation が into force for め ら れ る. そ こ で this study で は, beg を 検 め て き た a の の of parts of the body posture information か ら の ア バ タ action technology を の make に, ア バ タ が interface in す る VR space と の integrated を keep し つ つ arbitrary の operation intelligence か ら operator の meaning 図 を reflect す る ア バ タ action の と, arbitrary の operating frequency か ら semi-automatic に と integrated the physical properties Youdaoplaceholder0 maintaining the たアバタ action を constitutes を possible にする. 2022 annual は マ ル チ モ ー ダ ル intelligence into force に base づ く meaning 図 を reflect し た ア バ タ action の composition technique の beg と 検 し て, feeling 覚 モ ダ リ テ ィ の maintain を purpose と し た の any body parts に お け る posture intelligence, お よ び sight を operation into force intelligence と し て using し た ア バ タ の operation support technique を establish し た. ま た, this gimmick に お い て deep learning に with い る ア バ タ の many others な の body movements デ ー タ の ensure の た め に, beginners で も simple に detailed な action may make が な low デ ー タ を モ ー シ ョ ン キ ャ プ チ ャ で making し た high detailed な action デ ー タ に variations in す る action デ ー タ の high detailed practices し を established, Action デ デ タ タ デ production ため ため support technology と て て effective である とを とを confirmation た た.

项目成果

Motion Correction of Interactive CG Avatars Using Machine Learning

使用机器学习对交互式 CG 头像进行运动校正

• 发表时间: 2022
• 作者: Ko Suzuki;Hiroshi Mori;Fubito Toyama
• 通讯作者: Fubito Toyama

Towards Controling Whole Body Avatars with Partial Body-Tracking and Environmental Information

通过局部身体跟踪和环境信息控制全身化身

• 发表时间: 2022
• 作者: Koji Yamada;Hiroshi Mori;Fubito Toyama
• 通讯作者: Fubito Toyama

頭部姿勢入力の意図推定によるアバタの操作支援

基于头部姿势输入的意图估计的头像操作支持

• 发表时间: 2022
• 作者: 田中 大輔;森 博志;外山 史
• 通讯作者: 外山 史

Enhanced Motion Details of Virtual Humans Using Machine Learning

使用机器学习增强虚拟人的运动细节

• 发表时间: 2022
• 作者: Rikuto Tazawa;Hiroshi Mori;Fubito Toyama
• 通讯作者: Fubito Toyama