使用Zipf定律估算字典大小 [英] Estimate Dictionary size using Zipf’s Law

问题描述

如何使用Zipfs定律来计算集合的字典大小(唯一词数)?

How would one go about Calculating the Dictionary Size(no.of unique words) of a collection using Zipfs Law?

推荐答案

您将必须标记您的收藏集，例如空格和标点符号.然后，将所有令牌存储在哈希中并计数.然后，您要做的就是使用Gnuplot这样的工具来绘制计数分布.

You will have to tokenize your collection, e.g. by white-space and punctuation. Then you store all the tokens in a hash and count. What you do is then plot the distribution of the counts using a tool like Gnuplot.

这篇关于使用Zipf定律估算字典大小的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！