A Live Speech-Driven Avatar-Mediated Three-Party Telepresence System: Design and Evaluation
A Live Speech-Driven Avatar-Mediated Three-Party Telepresence System: Design and Evaluation
复制标题
实时语音驱动的阿凡达介导的三方远程呈现系统：设计与评估
DOI：
10.1162/pres_a_00358
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Deng, Zhigang
中科院分区：
文献类型：
--
作者：
Jin, Aobo;Deng, Qixin;Deng, Zhigang
在这篇文章中，我们提出了一个活的语音驱动，化身介导的，三方远程呈现系统，通过它三个遥远的用户，体现为化身在一个共享的3D虚拟世界，可以执行自然的三方远程呈现，不需要跟踪设备。基于三个用户的实时语音输入，该系统可以实时生成所有化身的相应会话运动，包括头部运动、眼睛运动、嘴唇运动、躯干运动和手势。所有的动作都是基于实时语音输入在每个用户侧自动生成的，并且利用云服务器在不同用户之间传输和同步动作和语音。我们进行了正式的用户研究，通过将其与著名的在线虚拟世界“第二人生”和广泛使用的在线电话会议系统“Skype”进行比较，来评估该系统的可用性和有效性。用户研究结果表明，我们的系统可以提供 远比这两种广泛使用的方法更好的网真用户体验。
In this article, we present a live speech-driven, avatar-mediated, three-party telepresence system, through which three distant users, embodied as avatars in a shared 3D virtual world, can perform natural three-party telepresence that does not require tracking devices. Based on live speech input from three users, this system can real-time generate the corresponding conversational motions of all the avatars, including head motion, eye motion, lip movement, torso motion, and hand gesture. All motions are generated automatically at each user side based on live speech input, and a cloud server is utilized to transmit and synchronize motion and speech among different users. We conduct a formal user study to evaluate the usability and effectiveness of the system by comparing it with a well-known online virtual world,Second Life, and a widely-used online teleconferencing system,Skype. The user study results indicate our system can provide a measurably better telepresence user experience than the two widely-used methods.
登录
查看更多内容
影响因子：
12.6
作者：
F. Parke;K. Waters
通讯作者：
F. Parke;K. Waters
基于深度学习的三方对话中头部和眼睛运动生成模型
DOI：
--
发表时间：
2019
期刊：
PACMCGIT
影响因子：
--
作者：
Aobo Jin;Qixin Deng;Yuting Zhang;Z. Deng
通讯作者：
Z. Deng
无处不在的协作活动虚拟环境
DOI：
--
发表时间：
2012
期刊：
Conference on Computer Supported Cooperative Work
影响因子：
--
作者：
Aryabrata Basu;A. Raij;K. Johnsen
通讯作者：
K. Johnsen
用于移动设备上即时消息传递的文本驱动的对话化身界面
影响因子：
3.6
作者：
M. Nigro;Z. Deng
通讯作者：
Z. Deng
实现令人信服的远程呈现感觉：展示通往远程（静态）办公室的门户
DOI：
--
发表时间：
2000
期刊：
Proceedings Visualization 2000. VIS 2000 (Cat. No.00CH37145)
影响因子：
--
作者：
Wei;H. Towles;L. Nyland;G. Welch;H. Fuchs
通讯作者：
H. Fuchs