Spatio-temporal modulation imaging toward measurements of shape and physical properties

用于测量形状和物理特性的时空调制成像

• 批准号: 20H04215
• 负责人: 高谷 剛志
• 金额: $ 11.32万
• 依托单位: University of Tsukuba (2021-2023)National Institute of Informatics (2020)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H04215/
• 关键词: コンピュテーショナルフォトグラフィ; コンピュテーショナルイメージング; コンピュータビジョン

本研究の主課題は，照明光を時空間的に変調する新しい枠組みである「時空間変調イメージング」の基盤確立である．これを実現するため，プロトタイプシステムの構築，キャリブレーション手法の開発，観測モデルの構築，形状・物性計測手法の開発という4つの項目に分けて研究を進めている．本年度は，時空間変調光源モジュールと間接Time-of-Flight方式用画像センサを用いたプロトタイプの開発を継続しつつ，新しい挑戦として，偏光計測を導入した．偏光計測は，光沢表面で発生する強い反射光を除去する際や水中計測において散乱を除去する際などに応用される．これは，それらの光学現象が偏光状態を保つことを利用している．すなわち，計測される偏光状態は，物体が持つ光学パラメータに依存する光学現象によって変化するため，偏光状態から物体材質についての物性情報が得られる．そこで，作製したプロトタイプに対し，光源とカメラのそれぞれに直線偏光板を設置し，時間変調計測と偏光計測を組み合わた新しい計測手法を提案した．時間変調によるTime-of-Flight計測は，一般に距離計測に用いられるが，材質の物性，特に半透明性の影響を強く受け，正確な距離計測を乱す．一方で，その乱れには，物性の情報が含まれる．つまり，計測されたTime-of-Flightと偏光状態には，材質物性に関する情報が含まれていることになる．これらのそれぞれは単体で材質分類として用いられてきたが，両者を同時に計測し用いることは未だされていなかった．本年度の成果では，両者を用いることによって，単体の場合よりも材質分類の性能が向上することを確認できた．

The main task of this study is to establish a new set of time-space modulation parameters for illumination. The construction of the system, the development of the method, the construction of the measurement system, the development of the shape and physical property measurement method, and the research of the project are all in progress. This year, the introduction of time-space modulated light sources and indirect Time-of-Flight methods for image processing and polarization measurement. Polarization measurement is used to remove strong reflected light from optical surfaces and to remove scattered light from underwater measurements. The optical phenomena are polarized and the polarization state is protected. The polarization state of the object is measured. The object is dependent on the optical phenomenon. The polarization state of the object is measured. The property information of the object is obtained. For example, the light source, the polarization meter, the time modulation meter and the polarization meter are combined to form a new measurement method. Time-of-Flight measurement is generally used for distance measurement, and the physical properties of materials are particularly affected by translucency. One side, the other side. Time-of-Flight and polarization state are measured, and information about material properties is included. This is the first time I've ever been in a relationship with someone else. This year's achievements are confirmed by the use of materials.

项目成果

Event-guided Video Clip Generation from Blurry Images

• DOI: 10.1145/3503161.3548142
• 发表时间: 2022-10
• 期刊: Proceedings of the 30th ACM International Conference on Multimedia
• 作者: Xin Ding;T. Takatani;Zhongyuan Wang;Ying Fu;Yinqiang Zheng

Time-Resolved Far Infrared Light Transport Decomposition for Thermal Photometric Stereo

热光度立体的时间分辨远红外光传输分解

• DOI: 10.1109/tpami.2019.2959304
• 发表时间: 2021
• 期刊: IEEE Transactions on Pattern Analysis and Machine Intelligence
• 影响因子: 23.6
• 作者: Tanaka, Kenichiro;Ikeya, Nobuhiro;Takatani, Tsuyoshi;Kubo, Hiroyuki;Funatomi, Takuya;Ravi, Vijay;Kadambi, Achuta;Mukaigawa, Yasuhiro
• 通讯作者: Mukaigawa, Yasuhiro

イベントカメラを用いたコンピュータビジョンの最先端

使用事件相机的计算机视觉前沿

• 发表时间: 2022
• 作者: 髙谷 剛志

二波長強度変調照明下におけるイベント情報に基づく光吸収差分の可視化

双波长强度调制照明下基于事件信息的光吸收差异可视化

• 发表时间: 2020
• 作者: Hiroi Yuichi;Kaminokado Takumi;Ono Shunsuke;Itoh Yuta;伊藤柚葉，髙谷剛志，蛭子綾香，鄭銀強，青砥隆仁
• 通讯作者: 伊藤柚葉，髙谷剛志，蛭子綾香，鄭銀強，青砥隆仁

イベントカメラを用いたコンピュータビジョン研究

使用事件相机进行计算机视觉研究

• 发表时间: 2022
• 作者: 髙谷剛志