動画像のアピアランスモデルとその応用に関する研究

点击翻译按钮获取中文摘要

本研究は、動画像表現の新たな枠組みを開発することを目的としている。このためにまず、2次元隠れマルコフモデル(2DHMM)を用いた画像のアピアランスモデルを構築する。このような動画像のモデルを用いることで、オブジェクトの3次元形状の推定や、2次元画像からのパラメータの抽出といった困難な問題を回避することができると考えられる。一昨年度、昨年度はアピアランスモデルの基本的な枠組みを構築し、要素技術の開発を行った。また、昨年度は開発した要素技術の高精度化、応用について検討した。これを踏まえて本年度は、こうした技術の更なる応用について検討した。1.アピアランスモデルの顔アニメーションヘの応用提案法は、モデルベース符号化であるため、符号化と復号化で用いるモデルを変えることで面白い効果を生み出すことができると考えられる。そこで昨年度、アピアランスモデルの一つの応用として、ある人の顔を他人の顔に変換して顔アニメーションを行うことを検討した。実際にビデオカメラの前で表情を変えたり発話すると、画面上ではあたかも他の人が表情を変えたり、発話するような効果を得ることが可能となった。しかしこの段階では計算量が多く、リアルタイムでこれを行うことはできなかった。今年度は、アルゴリズムの高速化を行い、リアルタイムでの実現を可能とした。また、状態系列とモデルの符号化手法を併用することで、ネットワークを介した顔変換を実現することが可能となった。2.ロボットによる概念の獲得におけるアピアランスモデルの利用昨年度、アピアランスモデルを応用し、様々な物体の外見や文字を学習するシステムを検討した。また、実際にロボットに実装することで、見た物体を教師なしかつオンラインで学習することが可能となった。これは、アピアランスモデルの自動的なクラスタリングに基づいている。今年度はこれに基づき、さらに上位の概念を獲得する手法を検討し、ロボット上に実装することでその有効性を確かめた。具体的には、まず、視覚的情報をアピアランスモデルを用いて表現し、機能を対象物の変化ベクトルを用いて表現した。その上でこれらを確率モデルを用いて関連付けることで上位の物体概念を形成する計算モデルを提案し、実装した。これによりロボットが、はさみやカッターといった道具の概念を獲得し、その機能を予測することが可能となった。