Ultra-High-Resolution Visualization of 3D Scanned Big Data for Assisting Recognition of Large-Scale 3D Structures in the Real World

3D扫描大数据超高分辨率可视化，辅助识别现实世界中的大型3D结构

• 批准号: 21H04903
• 负责人: 田中 覚
• 金额: $ 16.31万
• 依托单位: Ritsumeikan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-05 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H04903/
• 关键词: 3次元計測; ビッグデータ; 大規模点群データ; 可視化; 3次元計測点群; ノイズ透明化; 3次元エッジ強調; データ欠損補完; 点群VR; 深層学習; 不透明度ベースエッジ強調可視化; 3次元モデル復元; マルチデータソース半透明可視化; 点群ベースVR; ３次元計測ビッグデータ; 超高精細可視化; 立体構造強調可視化; データ欠損補完可視化; 超高精細VR

研究実施計画の各項目に関して、特に手法開発とシステム開発において、以下のような成果を上げた。(1) 超高精細可視化：これまでの研究で透視可視化の高精細化のために開発した「ノイズ透明化手法」を、不透明な写実的可視化に発展的に適用するために、「点群ベースデプスピーリング法」を開発した。これにより、点密度が比較的一様な点群データに関しては、写実的可視化においてもノイズを透明化（自動消失）させることに成功した。この研究成果に関して、国際会議論文を準備中である。(2) 立体構造の強調可視化：3次元計測点群データの3次元エッジの強調可視化のため、複数の特徴量を適応的に組み合わせてエッジ部を正確に抽出する方法、主成分分析によってエッジの直線の伸びる方向を抽出してその方向に集中的に点アップサンプリングを行う方法などを開発した。これらの研究成果を国際会議 JSST 2022 (オンライン開催)などで発表した。(3)データ欠損の補完可視化：PU-Net、PU-GAN、3PUなどの点群データを対象とするアップサンプリング手法（深層学習ネットワーク）を調査した。そして、これらの手法に我々のエッジ抽出技術を組み合わせることで、点群データの欠損部分の高精度補完を行える可能性を見出した。(4)超高精細点群VR：インドネシアのユネスコ世界遺産・ボロブドゥール寺院の3次元計測点群データを用いて構築した点群VRシステムを、歩行型デバイスに対応させた。この研究成果を可視化情報学会の全国大会(オンライン開催)で発表した。また、国際会議論文を準備中である。加えて、奈良県のユネスコ世界遺産・玉置神社に関しても、3次元計測データに基づく点群VRシステムのプロトタイプを構築した。

Research all items be applied plan の に masato し て, trevor に gimmick 発 と シ ス テ ム open 発 に お い て, the following の よ う を な results げ た. (1) ultra fine visual: こ れ ま で で の research perspective visualization の highly precise refinement の た め に open 発 し た "ノ イ ズ transparent technique" を, opaque な write be visualized に 発 exhibition に applicable す る た め に, "point group ベ ー ス デ プ ス ピ ー リ ン グ method" を open 発 し た. こ れ に よ り, point density が compare others な point group デ ー タ に masato し て は, write be visualization に お い て も ノ イ ズ を transparency (disappear automatically) さ せ る こ と に successful し た. The research results of に に are related to て, and the paper for the international conference is を in preparation である. (2) Three-dimensional construction emphasizes visualization: Three yuan meter measuring point group デ ー タ の 3 dimensional エ ッ ジ の emphasize visual の た め amount, plural の 徴 を optimum 応 み に group and わ せ て エ ッ ジ department を に right out す る method, principal component analysis に よ っ て エ ッ ジ の linear の stretch び る direction を spare し て そ の direction に focus point of に ア ッ プ サ ン プ リ ン グ を line う method な ど を open 発 し た. Youdaoplaceholder3 れら <s:1> research results を The international conference JSST 2022 (held by <s:1> ラ ラ ラ <s:1>)な で で で was presented at た た. (3) デ ー タ owe loss の finish fill visualization: PU - Net 3 PU, PU - GAN, な ど の point group デ ー タ を like と seaborne す る ア ッ プ サ ン プ リ ン グ technique (deep learning ネ ッ ト ワ ー ク) を survey し た. そ し て, こ れ ら の gimmick に I 々 の エ ッ ジ extraction technology group を み わ せ る こ と で, point group デ ー タ の owe damaged part の finish high precision filling line を え る を likely see a し た. (4) ultra fine points of VR: イ ン ド ネ シ ア の ユ ネ ス コ world heritage, ボ ロ ブ ド ゥ ー ル temple の three yuan meter measuring point group デ ー タ を with い て build し た point group VR シ ス テ ム を, step type line デ バ イ ス に 応 seaborne さ せ た. The research results of を を the national conference of the Society for Visual Intelligence <e:1> (を ラ ラ ラ ラ で)で presentation た た. Youdaoplaceholder0, international conference paper を in preparation である. Add え て, nara 県 の ユ ネ ス コ world heritage, jade buy shrine に masato し て も, three dimensional measuring デ ー タ に base づ く point group VR シ ス テ ム の プ ロ ト タ イ プ を build し た.

项目成果

3次元計測点群を用いたボロブドゥール寺院のVR鑑賞システム

使用 3D 测量点云的婆罗浮屠寺庙 VR 观看系统

• 发表时间: 2022
• 作者: Chen Sisheng;Chang Ching-Chun;Echizen Isao;鈴木康章，長谷川恭子，李亮，Thufail I. Fadjal，Riyanto Sugeng，Brahmantara，山口欧志，田中覚
• 通讯作者: 鈴木康章，長谷川恭子，李亮，Thufail I. Fadjal，Riyanto Sugeng，Brahmantara，山口欧志，田中覚

光沢知覚 --- 手がかり、立体映像による再現法と定量評価、脳内機構、顔の魅力への影響とその神経相関 ---

光泽感知---提示、立体图像再现方法和定量评价、大脑机制、对面部吸引力的影响及其神经相关性---

• 发表时间: 2022
• 作者: 坂野雄一

エッジ束化平行座標プロットによるアンサンブルデータ向け視覚分析システム

使用边捆绑平行坐标图的集合数据可视化分析系统

• 发表时间: 2022
• 作者: 渡辺 敬太;田村 剛;坂本 尚久;前島 康光;野中 丈士
• 通讯作者: 野中 丈士

Stochastic noise reduction for high-quality transparent visualization of 3D scanned point clouds

随机降噪，实现 3D 扫描点云的高质量透明可视化

• 发表时间: 2021
• 作者: Sosuke Nishikawa;Ikuya Yamada;Yoshimasa Tsuruoka;Isao Echizen;Satoshi Tanaka
• 通讯作者: Satoshi Tanaka

3次元計測点群データのためのエントロピーを用いた特徴強調可視化

使用 3D 测量点云数据熵进行特征增强可视化

• 发表时间: 2021
• 作者: Mitsuhiro Odaka;Magnin Morgan;Katsumi Inoue;佐伯高明，高道慎之介，中村友彦，丹治尚子，猿渡洋;中山拓人，長谷川恭子，李亮，田中覚
• 通讯作者: 中山拓人，長谷川恭子，李亮，田中覚