Life-like Agent Interface System on a User-tracking Active Display

用户跟踪主动显示器上的逼真代理界面系统

• 批准号: 12680408
• 负责人: DOHI Hiroshi
• 金额: $ 2.43万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2000
• 资助国家: 日本
• 起止时间: 2000 至 2001
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-12680408/
• 关键词: Agent; Active Display; User Interface; Interaction; Information System; Multimodal; Multimedia; face; インタラクティブ

We have developed a life-like agent interface system with a texture-mapped realistic 3D face, called the VSA-II (Visual Software Agent-II). Since the realistic 3D face is generated from a single photograph, it is easy to add some agent characters without any special artistic skill. A live background image raises the life-likeness of the anthropomorphic agent character. The agent can control the Internet Explorer to present any text and visual information, while the agent talks with users by synthetic voice. It interacts with users cooperatively by means of a user-tracking active display, which is a motor drive TFT monitor that automatically turns the screen to the user's face. The monitor screen can swing more than 300 degrees angular displacement along the user's movement, then the agent character can keep eye contact with a user walking around the screen. It can release the user from a seat in front of a computer, which opens new possibilities for human-computer interaction. It also works as a test-bed system for selective interaction ; that is, the interaction with the specified user among other users walking around the screen.

我们已经开发了一个逼真的代理界面系统与纹理映射现实的3D脸，称为VSA-II（可视化软件代理-II）。由于真实的3D人脸是从一张照片中生成的，因此很容易添加一些代理角色，而无需任何特殊的艺术技巧。一个真实的背景图像提高了拟人化代理角色的逼真度。代理可以控制Internet Explorer显示任何文本和视觉信息，而代理通过合成语音与用户交谈。它通过用户跟踪主动显示屏与用户协作交互，该显示屏是一个电机驱动的TFT显示器，可以自动将屏幕转向用户的脸。监视器屏幕可以沿着用户的移动而摆动超过300度的角位移，然后代理角色可以与在屏幕上走动的用户保持目光接触。它可以将用户从计算机前的座位上释放出来，这为人机交互开辟了新的可能性。它也可以作为选择性交互的测试平台系统;也就是说，与在屏幕上走动的其他用户中的指定用户进行交互。

项目成果

Y. Zong, H. Dohi, M. Ishizuka: "Emotion Expression Function in Multimodal Presentation"Lecture Notes in Computer Science 1948, Advances in Multimodal Interfaces-ICMI2000, (T. Tan, Y. Shi, and W. Gao (eds. )), Springer. 57-64 (2000)

Y. Zong、H. Dohi、M. Ishizuka：“多模态表示中的情感表达函数”计算机科学讲义 1948 年，多模态接口进展 - ICMI2000，（T. Tan、Y. Shi 和 W. Gau（编辑））

Y. Zong, H. Dohi, M. Ishizuka: "MPML2.0e Multimodal Presentation Markup Language supporting Emotion Expression"Proc. Workshop on Multimedia Computing in the World Wide Web 2000(MCWWW2K), USA. (2000)

Y. Zong、H. Dohi、M. Ishizuka：“MPML2.0e 支持情感表达的多模式表示标记语言”Proc。

土肥: "人の声を聞き分ける擬人化エージェントインタフェース"情報処理学会第61回全国大会. 4L-01 (2000)

土井：“可以区分人类声音的拟人化代理界面”日本信息处理学会第 61 届全国会议 4L-01（2000 年）。

岡崎: "マルチモーダルプレゼンテーション記述言語MPMLの3次元VRML空間への拡張"情報処理学会第62回全国大会. 8X-6 (2001)

冈崎：“多模态表示描述语言 MPML 到 3D VRML 空间的扩展”日本信息处理学会第 62 届全国会议（2001 年）。

Y.Zong: "Multimodal Presentation Markup Language MPML with Emotion Expression Functions Attached"Proc.2000 Int'l Symp.On Multimodal Software Engineering. 359-365 (2000)

Y.Zong：“带有附加情感表达功能的多模态表示标记语言MPML”Proc.2000 Intl Symp.On Multimodal Software Engineering。