ライブメッセージ伝達のための実時間3次元顔表情生成の研究

点击翻译按钮获取中文摘要

イメージ系の情報を中心とした臨場感通信は次世代3次元画像通信として社会的に大きな期待がかけられている。顔表情は感情とテキスト(文字言語情報)からなる「メッセージ」を伝達しており、人間同士の自然で円滑なコミュニケーションの実現のために本質的な役割を果たす。本論文では、顔表情生成の主体となる眼と口唇部分の幾何構造と動きの特徴を顔の3次元形状変化と表面の動き変化を観測した顔動画像を分析し、それぞれの部位の動きの特徴と複雑さに応じて、実写融合法あるいは形状変形法のいずれかを選択することによりライブの顔表情を実時間で再現する複合現実感を用いる3次元顔表情生成法を提案する。感情伝達の主体である眼領域の動きは微妙で複雑でありながら、表情変化に伴う3次元形状変化が小さいことから、筆者の提案による「拡張仮想感」を用いて、顔の3次元CGモデル上に表情変化を観測したライブ映像を融合することにより生成する。一方、テクスト伝達の主体となる口唇表情は、形状変化が大きく3次元モデル自体の変形が必要であるため、位相幾何学のホモトピーに基づく曲面変形法を用いて、画像分析により抽出した口輪筋の動き特徴に基づいて発話に忠実な3次元口形状を滑らかに効率的に生成する。臨場感通信を指向した提案手法を実装し、ライブメッセージを伝達する実時間3次元顔表情生成システム実現の可能性を明らかにする。