発話情報を用いた仮想空間会話システムにおけるアバタの視線と表情の自律的制御

使用语音信息在虚拟空间对话系统中自主控制化身的目光和面部表情

• 批准号: 18700114
• 负责人: 宮島 俊光
• 金额: $ 2.05万
• 依托单位: Tokyo University of Agriculture and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2006
• 资助国家: 日本
• 起止时间: 2006 至 2007
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18700114/
• 关键词: バーチャルリアリティ; 表情制御; 韻律情報

これまで画像や音声の認識などの技術や装置に依存せず,発話情報にもとづいたノンバーバル情報の制御法を提案し,本年度は,下記のとおり,研究計画に基づき,共有仮想空間マルチパーティ音声チャットシステムにおける会話促進を目的に,発話音声による人間の視線行動モデルにもとづく視線制御アルゴリズムの確立,および,本システムの効果に関して検証した.(1)実際の会話における人の視線行動は,発話者と受話者が互いに視線を向け合う発話中と,発声中に比較して他者を注視する時間が短く,周囲を伺う無言状態とでは,大きく異なる.本研究では,誰かが発話している「発話中状態」と,誰も発話していない「無言状態」に分割した.さらに,発話終了前後に視線を用いて会話権を委譲することが知られているため,会話を活性化することを目的に,発話中から無言状態に移行する前に,「発話終了直後状態」を定義した.この3状態に対して,各ユーザの音圧情報と時間成分から確率遷移モデルを定義し,視線を制御した.(2)発話中状態において,受話アバタからの断続的な視線交差は発話者に威圧感を与える一方,極端な視線そらしは,会話に対する関心の無さを伝達する恐れがある.そこで,実験により視線交差から5゜下方を見る注視行動として「あいまい注視」を定義し,確率遷移させた.(3)上記の制御アルゴリズムを多人数音声アバタチャットシステムに実装し,主観評価による評価実験を行い,本制御アルゴリズムにより自然で会話促進につながる可能性が示唆された.これらの研究成果の報告として,後述のとおり,国内2箇所で学会発表をおこない,表情・視線制御に関して1本ずつ,計2本の論文が掲載された.

こ れ ま で portrait や sounds の know な ど の technology に や device dependent せ ず, 発 words intelligence に も と づ い た ノ ン バ ー バ ル intelligence の を proposal し suppression method, は this year, down under の と お り, research projects に base づ き, a total of 仮 want to space マ ル チ パ ー テ ィ sounds チ ャ ッ ト シ ス テ ム に お け る session promote に を purpose, 発 voice sound に よ る の View action モ デ ル に も と づ く vision suppression ア ル ゴ リ ズ ム の established, お よ び, this シ ス テ ム の unseen fruit に masato し て 検 card し た. (1) the event be の session に お け る の people は action, 発 と the speaker's words by words が mutual い に sight を to け う と 発 words, sound 発 に compare し て watching the other を す る short time が く, weeks 囲 を bar う silent state Youdaoplaceholder0 とで, large とで く is different from なる. This study で は, who か が 発 words し て い る と 発 words of state, who も 発 words し て い な い "silent state" に segmentation し た. さ ら に, に before and after the end of the line of sight を 発 words with い て session 権 を committee 譲 す る こ と が know ら れ て い る た め, session を activeness す る こ と に を purpose, 発 of か ら wordless state に transitional す る に before, "発 words at the end of the straight After state "を definition し た. こ の 3 state に し seaborne て, each ユ ー ザ の sound 圧 intelligence と time component か ら probabilistic migration モ デ ル を define し, line of sight を suppression し た. (2) 発 of state に お い て, receptive ア バ タ か ら の broken 続 な view a job は 発 を に wei 圧 move and the speaker's words え る, extreme な sight そ ら し は, session に す seaborne る masato の without a heart さ を 伝 da す る fear れ が あ る. そ こ で, be 験 に よ り view a job か ら see below 5 ゜ を る watch action と し て "あ い ま watching い" を define し, probabilistic migration さ せ た. (3) written の suppression ア ル ゴ リ ズ ム を number sounds more ア バ タ チ ャ ッ ト シ ス テ ム に be し, Lord 観 review 価 に よ る review 価 be 験 い を line, the system of imperial ア ル ゴ リ ズ ム に よ り natural で session promote に つ な が が る possibility in stopping さ れ た. こ れ ら の research report の と し て, after above の と お り, domestic two で learn 発 table を お こ な い, facial expression, eye suppression に masato し て this ず つ, meter 2 this の paper が first white jasmines load さ れ た.