权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

ライブメッセージ伝達のための実時間3次元顔表情生成の研究

用于实时消息传输的实时3D面部表情生成研究

基本信息

批准号：
10480064
负责人：
田中弘美
金额：
$ 3.33万
依托单位：
Ritsumeikan University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
1998
资助国家：
日本
起止时间：
1998 至 2000
项目状态：
已结题

项目摘要

イメージ系の情報を中心とした臨場感通信は次世代3次元画像通信として社会的に大きな期待がかけられている。顔表情は感情とテキスト(文字言語情報)からなる「メッセージ」を伝達しており、人間同士の自然で円滑なコミュニケーションの実現のために本質的な役割を果たす。本論文では、顔表情生成の主体となる眼と口唇部分の幾何構造と動きの特徴を顔の3次元形状変化と表面の動き変化を観測した顔動画像を分析し、それぞれの部位の動きの特徴と複雑さに応じて、実写融合法あるいは形状変形法のいずれかを選択することによりライブの顔表情を実時間で再現する複合現実感を用いる3次元顔表情生成法を提案する。感情伝達の主体である眼領域の動きは微妙で複雑でありながら、表情変化に伴う3次元形状変化が小さいことから、筆者の提案による「拡張仮想感」を用いて、顔の3次元CGモデル上に表情変化を観測したライブ映像を融合することにより生成する。一方、テクスト伝達の主体となる口唇表情は、形状変化が大きく3次元モデル自体の変形が必要であるため、位相幾何学のホモトピーに基づく曲面変形法を用いて、画像分析により抽出した口輪筋の動き特徴に基づいて発話に忠実な3次元口形状を滑らかに効率的に生成する。臨場感通信を指向した提案手法を実装し、ライブメッセージを伝達する実時間3次元顔表情生成システム実現の可能性を明らかにする。

The information center of the system is the presence communication, and the next generation of three-dimensional image communication is the expectation of the society. The expression of emotion and speech (text and speech information) is different from the expression of emotion and speech. In this paper, the geometric structure and dynamic characteristics of the eye and lip parts of the facial expression are analyzed. The method of creating three-dimensional facial expressions is proposed. The main body of emotion is the eye area, the movement is subtle, the expression is changed, the three-dimensional shape is changed, the author's proposal is to use the three-dimensional CG, the expression is changed, the image is fused, and the expression is generated. The main body of a square, a square, Telepresence communication is directed to the possibility of implementation of a proposal, such as the implementation of a three-dimensional facial expression.