Highly efficient point cloud compression coding based on the important structure of an object

基于物体重要结构的高效点云压缩编码

• 批准号: 22K12098
• 负责人: 木全 英明
• 金额: $ 2.66万
• 依托单位: Kogakuin University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12098/
• 关键词: 点群; ポイントクラウド; 符号化; 深層学習; 量子化

本研究の目的は，実世界にある物体の形状を表現する点群について，点群に重要度の概念を取り入れて圧縮に利用することで，主観的に重要な点群の再現性を保ちつつ点群全体の圧縮効率を向上する方式を研究することである．今年度は，まず点群に重要度を付与するアルゴリズムと，各点の属性情報を表現するための手法を研究した．形状の主要な特徴を表現することを点の重要度と定義して，その重要度を点群から取得するために，点群から一旦メッシュを構成し，メッシュとして形状の特徴を維持するような縮退を用いる手法を検討した．またこの縮退を繰り返し実行することで，形状の特徴を段階的に備えるメッシュシリーズを構成し，メッシュシリーズに基づいて各点の階層に関する属性情報を生成した．そして，点群の属性情報をコンパクトに表現するために，属性情報の圧縮方法を検討した．属性情報として今回は評価用データが多い色情報を用いて検討を行った．点群をブロック単位に分割して，分割したブロック内の色情報を面に投影して画像情報として扱う手法を検討した．ブロック内部に投影する方式とブロック外部に投影する方式を検討した．更に投影された属性情報を，変分オートエンコーダを用いて圧縮する方式を検討した．この方式の効果を実験で確認し，点の位置情報と属性情報をそれぞれの深層ネットワークで圧縮することを可能とする構成の実現性を確認した．更に大規模な点群の圧縮にも適用可能とするため，点群の重要度の属性情報をもとに点群を階層化し，ブロック単位で符号化することで並列処理が可能な圧縮方式を検討した．各階層をブロック単位で符号化する際に，ブロック内の点が存在するパターンを深層ニューラルネットワークで符号化する方式と．ブロック内の点の位置を符号化する方式を比較検討した．階層の度合いにより圧縮効率の高い方式が異なることを実験により評価して明らかにした．

は の purpose, this study be world に あ の る object shape を performance す る point group に つ い て, point group に importance の concept を take り れ て 圧 shrinkage に using す る こ と で, Lord 観 に important な point group の reproducibility を bartender ち つ つ point group all の 圧 shrinkage rate of unseen を upward す る way を research す る こ と で あ る. Our は, ま ず point group に importance を give す る ア ル ゴ リ ズ ム と, each point の attribute intelligence を performance す る た め の gimmick を research し た. Main な special shape の 徴 を performance す る こ と を point の importance と definition し て, そ の importance を point group か ら obtain す る た め に, point group か ら once メ ッ シ ュ を constitute し メ ッ シ ュ と し て shape の, 徴 を maintain す る よ う な retreat を with い る gimmick を beg し 検 た. ま た こ の retreat を Qiao り return し line be す る こ と で, shape の, 徴 を Duan Jie に case え る メ ッ シ ュ シ リ ー ズ を constitute し メ ッ シ ュ シ リ ー ズ に base づ い て each point の class に masato す る attribute intelligence を generated し た. Youdaoplaceholder0 て て, point group <s:1> attribute information をコ パ パ トに トに performance するために, attribute information <s:1> compression method を検 claim た. Attribute intelligence と し て today back to は review 価 with デ ー タ が い pornographic newspaper を use more い て 検 line for を っ た. Point group を ブ ロ ッ ク 単 a に segmentation し て, segmentation し た ブ ロ ッ ク の pornographic newspaper を meal に projection し て portrait intelligence と し て Cha う gimmick を beg し 検 た. Youdaoplaceholder0 た internal に projection する method とブロッ とブロッ external に projection する method を検 to seek た. More に projection さ れ た attribute intelligence を - points オ ー ト エ ン コ ー ダ を with い て 圧 shrinkage す を る way beg し 検 た. こ の way の unseen fruit を be 験 で confirm し, point の と attribute intelligence を そ れ ぞ れ の deep ネ ッ ト ワ ー ク で 圧 shrinkage す る こ と を may と す る constitute の be sex を now confirmed し た. More に large-scale な point group の 圧 shrinkage に も may apply と す る た め, point group の importance の attribute intelligence を も と に point group を stratification し, ブ ロ ッ ク 単 a で symbolic す る こ と で parallel 処 Richard が may な を 圧 shrinkage way beg し 検 た. All levels of を ブ ロ ッ ク 単 a で symbolic す る interstate に, ブ ロ ッ ク が の point in existence す る パ タ ー ン を deep ニ ュ ー ラ ル ネ ッ ト ワ ー ク で symbolic す と る way. The を point <e:1> position を symbolization する method of ブロッ comparison 検 た た. Class の degrees or い に よ り 圧 high shrinkage rate of unseen の way い が different な る こ と を be 験 に よ り review 価 し て Ming ら か に し た.

项目成果

物体形状を段階的に表現する深層学習ベースの点群符号化

基于深度学习的点云编码，逐步表示物体形状

• 发表时间: 2023
• 作者: 皆川玲緒;小嶋和徳;李 時旭;伊藤慶明;木全英明
• 通讯作者: 木全英明

Deep Learning Based Layered Point Cloud Compression for Representing Shape Aware Level of Detail

基于深度学习的分层点云压缩，用于表示形状感知的细节级别

• 发表时间: 2022
• 作者: 稲津慶紀;木全英明;Hideaki Kimata
• 通讯作者: Hideaki Kimata

MBConvを応用した軽量で効率的な深層画像圧縮法の検討

基于MBConv的轻量级高效深度图像压缩方法研究

• 发表时间: 2023
• 作者: 稲津慶紀;木全英明
• 通讯作者: 木全英明

三次元モデルの再構成のためのVQ-VAE-2の応用の一検討

VQ-VAE-2在三维模型重建中的应用研究

• 发表时间: 2022
• 作者: 中田健太;木全英明
• 通讯作者: 木全英明

点群の属性情報の深層学習ベース符号化方法の一検討

基于深度学习的点云属性信息编码方法研究

• 发表时间: 2022
• 作者: 中田健太;木全英明;Izumi Tsunokuni and Yusuke Ikeda;木全英明
• 通讯作者: 木全英明