Probing Pre-Trained Language Models for Cross-Cultural Differences in Values
Probing Pre-Trained Language Models for Cross-Cultural Differences in Values
复制标题
探索预训练语言模型的跨文化价值观差异
DOI：
--
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Isabelle Augenstein
中科院分区：
文献类型：
--
作者：
Arnav Arora;Lucie;Isabelle Augenstein
语言包含了人们持有的社会、文化和政治价值观的信息。先前的工作已经探索了编码在预训练语言模型（PLMs）中的潜在有害的社会偏见。然而，目前还没有系统的研究调查这些模型中嵌入的价值观在不同文化中是如何变化的。在本文中，我们引入探针来研究这些模型中嵌入了哪些跨文化价值观，以及它们是否与现有理论和跨文化价值观调查相一致。我们发现，plm捕获了跨文化价值观的差异，但这些差异与既定价值观调查的一致性很弱。我们讨论了在跨文化环境中使用不一致模型的影响，以及将plm与价值观调查结合起来的方法。
Language embeds information about social, cultural, and political values people hold. Prior work has explored potentially harmful social biases encoded in Pre-trained Language Models (PLMs). However, there has been no systematic study investigating how values embedded in these models vary across cultures.In this paper, we introduce probes to study which cross-cultural values are embedded in these models, and whether they align with existing theories and cross-cultural values surveys. We find that PLMs capture differences in values across cultures, but those only weakly align with established values surveys. We discuss implications of using mis-aligned models in cross-cultural settings, as well as ways of aligning PLMs with values surveys.
DOI：
10.1073/pnas.1720347115
发表时间：
2018-04-17
影响因子：
11.1
作者：
Garg, Nikhil;Schiebinger, Londa;Zou, James
通讯作者：
Zou, James
DOI：
--
发表时间：
2020-08
期刊：
ArXiv
影响因子：
--
作者：
Dan Hendrycks;Collin Burns;Steven Basart;Andrew Critch;J. Li;D. Song;J. Steinhardt
通讯作者：
Dan Hendrycks;Collin Burns;Steven Basart;Andrew Critch;J. Li;D. Song;J. Steinhardt
影响因子：
5.7
作者：
Hoover, Joe;Portillo-Wightman, Gwenyth;Dehghani, Morteza
通讯作者：
Dehghani, Morteza