Large-Scale Contextualised Language Modelling for Norwegian

Large-Scale Contextualised Language Modelling for Norwegian
复制标题

挪威语大规模情境化语言建模

DOI:
--
复制
发表时间:
2021
期刊:
ArXiv
影响因子:
--
通讯作者:
S. Oepen
S. Oepen
中科院分区:
--
文献类型:
--
作者:
Andrey Kutuzov;Jeremy Barnes;Erik Velldal;Lilja Ovrelid;S. Oepen

文献摘要

参考文献

被引文献

相似文献

我们介绍了正在进行的NorLM倡议,以支持为挪威语(原则上还有其他北欧语言)创建和使用非常大的上下文语言模型,包括一个现成的软件环境,以及一份数据准备和培训的经验报告。本文介绍了第一个基于ELMO和BERT框架的大规模挪威语单语言模型。除了详细介绍培训过程外,我们还提供了一套挪威语NLP任务的对比基准结果。有关更多背景信息以及对数据、模型和软件的访问,请访问:http://norlm.nlpl.eu
We present the ongoing NorLM initiative to support the creation and use of very large contextualised language models for Norwegian (and in principle other Nordic languages), including a ready-to-use software environment, as well as an experience report for data preparation and training. This paper introduces the first large-scale monolingual language models for Norwegian, based on both the ELMo and BERT frameworks. In addition to detailing the training process, we present contrastive benchmark results on a suite of NLP tasks for Norwegian. For additional background and access to the data, models, and software, please see: http://norlm.nlpl.eu
DOI: --
发表时间: 2019
期刊:
影响因子: --
作者:
西田智;上田たかね;永川茂;祖母井庸之;斧康雄;高下恵美 藤崎誠一郎 白倉雅之 中村一哉 岸田典子 桑原朋子 三田村敬子 安倍隆 市川正孝 山崎雅彦 渡邉真治 小田切孝人 長谷川秀樹
通讯作者: 高下恵美 藤崎誠一郎 白倉雅之 中村一哉 岸田典子 桑原朋子 三田村敬子 安倍隆 市川正孝 山崎雅彦 渡邉真治 小田切孝人 長谷川秀樹