SoMaJo: State-of-the-art tokenization for German web and social media texts
SoMaJo: State-of-the-art tokenization for German web and social media texts
复制标题
SoMaJo：德国网络和社交媒体文本的最先进标记化
DOI：
10.18653/v1/w16-2607
复制
发表时间：
2016
影响因子：
4
通讯作者：
P. Uhrig
中科院分区：
文献类型：
--
作者：
Thomas Proisl;P. Uhrig
在本文中，我们描述了 SoMaJo，这是一个用于德国网络和社交媒体文本的基于规则的分词器，它是 EmpiriST 2015 共享任务中表现最好的系统，平均 F1 分数为 99.57。我们概述了系统及其规则所涵盖的现象，以及详细的错误分析。分词器可作为免费软件使用。
In this paper we describe SoMaJo, a rulebased tokenizer for German web and social media texts that was the best-performing system in the EmpiriST 2015 shared task with an average F1-score of 99.57. We give an overview of the system and the phenomena its rules cover, as well as a detailed error analysis. The tokenizer is available as free software.