Zipfの法則を使用して辞書サイズを見積もる

Question

Zipfs法を使用してコレクションの辞書サイズ（一意の単語の数）を計算するにはどうすればよいですか？

Answer 1

あなたのコレクションをトークン化する必要があります。空白と句読点で区切ります。次に、すべてのトークンをハッシュに格納してカウントします。次に、Gnuplotのようなツールを使用してカウントの分布をプロットします。