Language Geometry Using Random Indexing
Language Geometry Using Random Indexing
复制标题
使用随机索引的语言几何
DOI：
--
复制
发表时间：
2016
期刊：
影响因子：
--
通讯作者：
P. Kanerva
中科院分区：
文献类型：
--
作者：
Aditya Joshi;Johan T. Halseth;P. Kanerva
随机索引是随机投影的一个简单实现，具有广泛的应用。它可以解决各种问题，具有良好的精度，而不会引入太多的复杂性。在这里，我们展示了它用于识别文本样本的语言，基于一种将字母N元编码成高维语言向量的新方法。此外，我们表明，该方法很容易实现，需要很少的计算能力和空间。作为该方法的统计有效性的证明，我们在语言识别任务中取得了成功。在21种不同语言的21，000个短句的困难数据集上，我们实现了97.4%的准确率，与最先进的方法相当。
Random Indexing is a simple implementation of Random Projections with a wide range of applications. It can solve a variety of problems with good accuracy without introducing much complexity. Here we demonstrate its use for identifying the language of text samples, based on a novel method of encoding letter N-grams into high-dimensional Language Vectors. Further, we show that the method is easily implemented and requires little computational power and space. As proof of the method’s statistical validity, we show its success in a language-recognition task. On a difficult data set of 21,000 short sentences from 21 different languages, we achieve 97.4% accuracy, comparable to state-of-the-art methods.