Learning More Effective Dialogue Strategies Using Limited Dialogue Move Features
Learning More Effective Dialogue Strategies Using Limited Dialogue Move Features
复制标题
使用有限的对话移动功能学习更有效的对话策略
DOI：
10.3115/1220175.1220199
复制
发表时间：
2006
期刊：
影响因子：
--
通讯作者：
Oliver Lemon
中科院分区：
文献类型：
--
作者：
Matthew Frampton;Oliver Lemon
我们探索了在信息寻求口语对话系统的有效对话策略的强化学习（RL）中使用受限对话上下文（例如，通信器（步行者等人，2001年））。我们使用的背景比这一领域以前的研究更丰富，例如（Levin和Pieraccini，1997; Scheffler和Young，2001; Singh等人，二○ ○二年; Pietquin，2004年），它只使用基于槽的信息，但比完整的对话“信息状态”（亨德森等人，2005），其中tractabe学习是一个问题。我们探讨如何逐步增加更丰富的功能，使学习更有效的对话策略。我们使用从通信器数据（步行者等人，2001; Georgila等人，2005年b），探讨不同的功能对学习对话策略的影响。我们的研究结果表明，添加最后一个系统的对话动作和用户回合，使自动学习策略的平均奖励比原始（手工编码）通信系统增加了65.9%，比仅使用插槽状态功能的基线RL策略增加了7.8%。我们发现，学到的策略表现出一个紧急的“焦点切换”的战略和有效地使用的“给予帮助”的行动。
We explore the use of restricted dialogue contexts in reinforcement learning (RL) of effective dialogue strategies for information seeking spoken dialogue systems (e.g. COMMUNICATOR (Walker et al., 2001)). The contexts we use are richer than previous research in this area, e.g. (Levin and Pieraccini, 1997; Scheffler and Young, 2001; Singh et al., 2002; Pietquin, 2004), which use only slot-based information, but are much less complex than the full dialogue "Information States" explored in (Henderson et al., 2005), for which tractabe learning is an issue. We explore how incrementally adding richer features allows learning of more effective dialogue strategies. We use 2 user simulations learned from COMMUNICATOR data (Walker et al., 2001; Georgila et al., 2005b) to explore the effects of different features on learned dialogue strategies. Our results show that adding the dialogue moves of the last system and user turns increases the average reward of the automatically learned strategies by 65.9% over the original (hand-coded) COMMUNICATOR systems, and by 7.8% over a baseline RL policy that uses only slot-status features. We show that the learned strategies exhibit an emergent "focus switching" strategy and effective use of the 'give help' action.