多視点映像による3D立体映像表示と圧縮符号化技術の開発

使用多视点图像的3D立体图像显示和压缩编码技术的开发

• 批准号: 22700185
• 负责人: 植松 裕子
• 金额: $ 2.41万
• 依托单位: Keio University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2010
• 资助国家: 日本
• 起止时间: 2010 至 2012
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22700185/
• 关键词: 他視点映像; 陰消現実感; 立体ディスプレイ; タブレット端末; 多視点映像; デプスカメラ; 距離画像; DIBR

複数のカメラ映像を組み合わせることで,臨場感ある映像を生成したり,通常では見ることができない視点の映像を作ることができる.生成された映像コンテンツは,3次元ディスプレイへの入力映像としたり,障害物を除去してその背後を透視するような見せ方を行うことによって,従来の2次元映像を視聴するよりも,臨場感ある映像を提供できるため,テレビ放送やインターネット配信などへの応用が期待されている.このような映像を生成するためには,カメラ間の位置関係を推定し,それに基づいて映像の視点変換を行う必要がある.また,様々な端末・媒体へと多視点カメラ映像を配信するためには,その容量を削減するためにも,視点間の冗長性を利用した視点間予測が必要となる.これまでに,複数台のカメラで撮影した映像から,ある1つの障害物を取り除き,その背後に存在する背景を復元することで,障害物を透視したかのような陰消現実感映像を作り出すことができており,さらにその映像を多視点裸眼立体ディスプレイへと入力することで,ユーザの視点に応じて障害物が消えたり現れたりするように見せるシステムを開発した.そこで今年度は,スマートフォンやタブレット端末といった手持ちの携帯デバイスを対象として,削除すべき対象をユーザがインタラクティブに指定したり,端末そのものの向きによって視点を変えられるようなシステムを構築する.さらに,多視点カメラの映像を携帯端末へ効率的に転送するために,それらの重複部分を活用した視点間予測について検討し,未校正の多視点カメラによる符号化圧縮を行う.

Plural の カ メ ラ image を group み close わ せ る こ と で, telepresence あ る image を generated し た り, usually で は see る こ と が で き な い viewpoints の image を as る こ と が で き る. Generate さ れ た image コ ン テ ン ツ は, 3 dimensional デ ィ ス プ レ イ へ の image into force と し た り, handicap of content を remove し て そ の を perspective behind す る よ う な see せ party line を う こ と に よ っ て, 従 to の 2 dimensional images を sight 聴 す る よ り も, telepresence あ る image を provide で き る た め, テ レ ビ hoso や イ ン タ ー ネ ッ ト with letter な ど へ の 応 With が expect さ れ て い る. こ の よ う な image を generated す る た め に は, カ メ ラ masato is の position between presumption を し, そ れ に base づ い て image の viewpoint - line in を う necessary が あ る. ま た, others 々 な side, at the end of the media へ と multi-view カ メ ラ image を with letter す る た め に は, そ を の capacity cuts す る た め に も, viewpoints between の lengthy を し was used た viewpoints can be between が necessary と な る. こ れ ま で に, plural sets の カ メ ラ で pinch of shadow し た image か ら, あ る 1 つ の handicap of を take り except き, そ の に exist behind す る background を recovery す る こ と で, handicap of content を perspective し た か の よ う な Yin now be elimination image を do り out す こ と が で き て お り, さ ら に そ の image を multi-view stereo デ open hole ィ ス プ レ イ へ と す into force る こ と で, ユ ー ザ の viewpoints に 応 じ て handicap of content が え elimination た り now れ た り す る よ う に see せ る シ ス テ ム を open 発 し た. そ こ で our は, ス マ ー ト フ ォ ン や タ ブ レ ッ ト end と い っ た handheld ち の with 帯 デ バ イ ス を like と seaborne し て, eliminate す べ き like を seaborne ユ ー ザ が イ ン タ ラ ク テ ィ ブ に Specify し た り, end そ の も の の to き に よ っ て viewpoints を - え ら れ る よ う な シ ス テ ム を build す る. さ ら に, multiple viewpoints カ メ ラ の image を with 帯 end へ sharper rate に planning send す る た め に, そ れ ら の repeat part を use し た viewpoints between be に つ い て 検 for し, unadjusted の multi-view カ メ ラ に よ る symbolic 圧 shrinkage う を line.

项目成果

スポーツ競技の3D映像提示のための幾何構造推定

体育比赛 3D 视频呈现的几何结构估计

• 发表时间: 2012
• 期刊: 慶應義塾大学大学院理工学研究科修士論文
• 作者: H. Okuno;T. Sanada;J. Hasegawa;T. Yagi;松尾 琢也;Makoto Kumon and Shuji Uozumi;井上卓也
• 通讯作者: 井上卓也

デプスカメラとカラーカメラを併用した野球のキャッチャー視点映像生成

使用深度相机和彩色相机生成棒球接球手透视视频

• 发表时间: 2012
• 期刊: 慶應義塾大学大学院理工学研究科修士論文
• 作者: 四村大樹;土居元紀;Takamitsu Matsubara;橋本昂宗
• 通讯作者: 橋本昂宗

カラー画像の領域分割に基づく距離画像の視点変換

基于彩色图像区域分割的距离图像透视变换

• 发表时间: 2011
• 期刊: 慶應義塾大学大学院 理工学研究科 修士論文
• 作者: 江川知宏;公文誠;高谷優樹
• 通讯作者: 高谷優樹

局所特徴・色特徴に基づく静止画像からの料理領域検出

基于局部特征和颜色特征的静态图像食物区域检测

• 发表时间: 2011
• 作者: 宮野瑠衣子;植松裕子;斎藤英雄
• 通讯作者: 斎藤英雄

多視点カメラ撮影による野球のシースルー映像生成

使用多视图摄像机拍摄生成透视棒球视频

• 发表时间: 2011
• 期刊: 映像情報メディア学会誌
• 作者: 橋本昂宗;植松裕子;斎藤英雄
• 通讯作者: 斎藤英雄