Understanding and generation of referring expressions using gaze

使用凝视理解和生成指代表达

• 批准号: 21300049
• 负责人: TOKUNAGA Takenobu
• 金额: $ 12.06万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2009
• 资助国家: 日本
• 起止时间: 2009 至 2011
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21300049/
• 关键词: 参照表現; 自然言語処理; 協調作業対話; 視線情報; 幾何パズル; 対話システム; 状況依存対話; 言語生成・理解

We constructed a Japanese referring expression corpus, which serves as fundamental data for research on computational model of understanding and generation of referring expressions. In our experimental setting, two dialogue participants collaboratively solve geometrical puzzles. In each dialogue, arrangement of puzzle pieces, operations on puzzle pieces and eye gaze of the participants were recorded in synchronization with dialogue speech. Referring expressions were extracted from transcribed speech texts and annotated with their referents and attributes. The constructed corpus includes 131 dialogues in total. Using this corpus, computational models for understanding and generation of referring expressions were constructed based on a machine learning framework. The models were evaluated by using the constructed corpus to show the effectiveness of the models.

我们构建了一个日语指称语语料库，为指称语理解和生成的计算模型研究提供了基础数据。在我们的实验设置中，两个对话参与者合作解决几何难题。在每一个对话中，拼图的排列，拼图上的操作和眼睛注视的参与者被记录在同步的对话讲话。从转录的语音文本中提取指称表达，并对其指称和属性进行注释。所构建的语料库包括131个对话。利用该语料库，基于机器学习框架构建了指称表达理解和生成的计算模型。利用构建的语料库对模型进行了评价，验证了模型的有效性。

项目成果

Incorporating Extra-linguistic Information into Reference Resolution in Collaborative Task Dialogue

将语言外信息纳入协作任务对话中的参考解析

• 发表时间: 2010
• 作者: Ryu Iida;Shumpei Kobayashi;Takenobu Tokunaga
• 通讯作者: Takenobu Tokunaga

共同問題解決における参照表現と視線一致率の関係-参照表現の属性に基づく分析

协作问题解决中参考表情与注视匹配率的关系——基于参考表情属性的分析

• 发表时间: 2011
• 作者: 栗山直子;寺井あすか;安原正晃;徳永健伸;山岸侯彦;楠見孝
• 通讯作者: 楠見孝

コンピュータを介した共同問題解決における発話同定～2者の視線一致とマウスポインタの役割の関係～

计算机介导的协作问题解决中的话语识别 - 两方之间的注视匹配与鼠标指针的角色之间的关系 -

• 发表时间: 2011
• 作者: 栗山直子;寺井あすか;徳永健伸;山岸侯彦;楠見孝
• 通讯作者: 楠見孝

ベイジアンネットワークを用いた参照表現モデルの提案

使用贝叶斯网络的参考表示模型的提议

• 发表时间: 2011
• 作者: 船越孝太郎;中野幹生;徳永健伸;飯田龍
• 通讯作者: 飯田龍

日本語参照表現コーパスの構築と分析

日语指称表达语料库的构建与分析

• 发表时间: 2009
• 作者: 徳永健伸;P.;Spanger;安原正晃;飯田龍
• 通讯作者: 飯田龍