Deviation of Zipf's and Heaps' Laws in human languages with limited dictionary sizes.
Deviation of Zipf's and Heaps' Laws in human languages with limited dictionary sizes.
复制标题
DOI：
10.1038/srep01082
复制
发表时间：
2013
影响因子：
4.6
通讯作者：
Zhou T
中科院分区：
文献类型：
--
作者：
Lü L;Zhang ZK;Zhou T
在印度 - 欧洲语言家族中观察到ZIPF关于单词频率的定律和关于不同单词增长的定律，但它不适合诸如中国，日语和韩语之类的语言。这些语言由字符组成，具有非常有限的字典大小。广泛的实验表明：（i）字符频率分布遵循幂律，指数接近一个，相应的Zipf指数在该方向上有所不同。实际上，字符频率在ZIPF的图中呈指数衰减。 （ii）不同字符的数量随文本长度分为三个阶段而成长：它在开始时线性生长，然后转向对数形式，最终饱和。提出了一个理论上的写作过程，该模型体现了丰富的富裕机制和有限字典大小的影响。实验，模拟和分析解决方案彼此吻合。这项工作完善了对ZIPF和人类语言系统中法律的理解。
Zipf's law on word frequency and Heaps' law on the growth of distinct words are observed in Indo-European language family, but it does not hold for languages like Chinese, Japanese and Korean. These languages consist of characters, and are of very limited dictionary sizes. Extensive experiments show that: (i) The character frequency distribution follows a power law with exponent close to one, at which the corresponding Zipf's exponent diverges. Indeed, the character frequency decays exponentially in the Zipf's plot. (ii) The number of distinct characters grows with the text length in three stages: It grows linearly in the beginning, then turns to a logarithmical form, and eventually saturates. A theoretical model for writing process is proposed, which embodies the rich-get-richer mechanism and the effects of limited dictionary size. Experiments, simulations and analytical solutions agree well with each other. This work refines the understanding about Zipf's and Heaps' laws in human language systems.
登录
查看更多内容
影响因子：
3.7
作者：
Altmann EG;Pierrehumbert JB;Motter AE
通讯作者：
Motter AE
影响因子：
8.6
作者：
KANTER, I;KESSLER, DA
通讯作者：
KESSLER, DA
DOI：
10.1016/j.physa.2004.08.028
发表时间：
2005-03-01
影响因子：
3.3
作者：
Kim, BJ;Park, SM
通讯作者：
Park, SM
影响因子：
56.9
作者：
Barabási, AL;Albert, R
通讯作者：
Albert, R
影响因子：
2.9
作者：
BAK, P;TANG, C;WIESENFELD, K
通讯作者：
WIESENFELD, K