赤外域の透過・反射・熱特性を駆使した投影型拡張現実のための画像センシング

充分利用红外透射、反射和热特性的投影增强现实图像传感

• 批准号: 21H03461
• 负责人: 渡辺 義浩
• 金额: $ 10.73万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H03461/
• 关键词: 拡張現実; コンピュータビジョン; コンピュータグラフィクス; プロジェクタ

本年度は、前年度に引き続き、赤外画像を利用した皮膚変形の推定手法の研究に着手した。前年度までの検討に基づき、中・遠赤外域の画像を用いた機械学習による手法の設計に取り組んだ。本年度は主に前年度に検証した手法の改善に努めた。本手法では、皮膚変形として、カメラ画像上での皮膚表面の2次元座標の推定を目的とした。カメラと同軸化されたプロジェクタを用いる場合、このようにカメラから見えている部分の表面座標が推定できれば、投影によって皮膚テクスチャの外観操作が実現できると考えられる。この問題設定のもと、中・遠赤外画像から皮膚表面の2次元座標を可視化した画像を生成する手法を試みた。具体的には、条件付き敵対的生成ネットワークに基づく画像変換を行うニューラルネットワークをもとに手法を構築した。また、画像の前処理や損失関数のバリエーションに対する挙動を検証した。検証の結果、皮膚の動きに整合した投影像の変化を確認することができたが、投影型拡張現実へ適用するためには、さらなる高精度化が必要であることがわかった。また、皮膚変形推定をサポートする連携手法として、非剛体3次元トラッキングの研究にも取り組んだ。本年度は、非剛体3次元トラッキングを高速化するために、変形グラフの生成において、剛体運動とみなせる領域のノードを動的に削減する手法を構築した。検証の結果、トラッキングの精度を落とすことなく、高速化が可能であることが分かった。次に、可視域と赤外域の異なる波長間の反射特性の違いを利用した動的な周囲環境の把握に着手した。本年度は、このような手法に有効な素材を探す作業を実施した。具体的には、可視光域で拡散反射性が強く、中・遠赤外域で鏡面反射性が強い条件を満たすような素材を探した。3次元プリント可能な素材や加工が可能な素材などに関して反射特性を検証し、実験に利用できる対象と条件の可能性を絞り込んだ。

This year, compared with the previous year, the research on the estimation method of skin shape was started. In the previous year, the basic design method of the study was selected from the group of mechanical learning methods. This year is the first year since the beginning of the year. This technique is used to estimate the two-dimensional coordinates of the skin surface on the image. The surface coordinates of the part are estimated, and the projection of the skin is realized. This problem sets up a method for visualizing the 2D coordinates of the skin surface and creating the image. The specific conditions for the production of the base image change, the construction of the base image change The number of pre-processing and post-processing losses is estimated. The result of the test, the integration of the skin movement, the transformation of the projection image, the application of the projection image, and the need for high precision The method of skin shape estimation is combined with the method of non-rigid three-dimensional reconstruction. This year, we will construct a method to reduce the speed of non-rigid three-dimensional motion and the motion of rigid bodies. The result of the test, the accuracy of the test, the speed of the test Second, the reflection characteristics between the visible field and the different wavelengths in the red field should be used to grasp the dynamic environment. This year, the company has launched a series of research projects. Specific conditions for strong specular reflection in the visible light domain and in the remote light domain are explored 3-D material processing, material processing, reflection characteristics, utilization, image conditions, and possibilities

项目成果

Shaping Reality Through Dynamic Projection Mapping

通过动态投影映射塑造现实

• DOI: 10.11370/isj.61.14
• 发表时间: 2022
• 期刊: NIHON GAZO GAKKAISHI (Journal of the Imaging Society of Japan)
• 作者: 村山太一;松原靖子;櫻井保志;渡辺 義浩
• 通讯作者: 渡辺 義浩

高速プロジェクタとダイナミックプロジェクションマッピングの進化

高速投影仪和动态投影映射的演变

• 发表时间: 2022
• 期刊: 映像情報メディア学会誌
• 作者: 越坂武仁;阪本卓也;渡辺 義浩
• 通讯作者: 渡辺 義浩

ダイナミックプロジェクションマッピングの作り方と使い方

如何制作和使用动态投影映射

• 发表时间: 2023
• 期刊: 電子情報通信学会誌
• 作者: Kijima Hiromu、Gunma University 1-5-1 Tenjin-cho;Kiryu;Gunma 376-8515;Japan、Oku Hiromasa;渡辺 義浩
• 通讯作者: 渡辺 義浩

高速性を追及するダイナミックプロジェクションマッピングの基盤と実践

追求高速的动态投影映射的基础与实践

• 发表时间: 2023
• 期刊: 光学
• 作者: Enomoto H.;Takashima T.;Nishimura T.;Aizawa N.;Ikeda N.;Yuri Y.;Okamoto M.;Yoshihara K.;Yoshioka R.;Kawata S.;Ota S.;Nakano R.;Shiomi H.;Iijima H;渡辺 義浩
• 通讯作者: 渡辺 義浩

プロジェクタの高速化がもたらす新しい視覚世界

更快的投影仪带来新的视觉世界

• 发表时间: 2021
• 作者: Watanabe Kota;Ito Koichi;Aoki Takafumi;渡辺義浩
• 通讯作者: 渡辺義浩