numpy.histogramをnumpy.bincountのように振ることができますか？

Question

私は単語のリストを持っており、各単語が各リストにどのくらいの頻度で現れるかを知る必要があります。 ".count（word）"を使うと動作しますが、速度が遅すぎます（各リストには何千もの単語があり、何千ものリストがあります）。

私はnumpyで物事をスピードアップしようとしてきました。私は各単語に一意の数値コードを生成したので、numpy.bincountを使用することができました（文字列ではなく整数のみで動作するため）。しかし、私は "ValueError：配列が大きすぎます"というメッセージが表示されます。

これで、numpy.histogram関数の "bins"引数を調整して、必要な頻度のカウントを返すようにしようとしています（何とかnumpy.histogramが大きな配列に問題がないようです）。しかし、今のところいいえ。誰もが前にこれをしたことが起こった？それも可能ですか？私が見逃している簡単な解決策がありますか？

Answer 1

これにはnumpyを使用しないでください。代わりにcollections.Counterを使用してください。このユースケースのために設計されています。

Answer 2

なぜnumpy.uniqueを使用して最小限のセットにあなたの整数を減らさない：

original_keys, lookup_vals = numpy.unique(big_int_string_array, return_inverse=True) 

あなたはその後、ちょうどlookup_valsにnumpy.bincountを使用することができ、あなたは元の文字列のユニークな整数を取り戻すために必要がある場合は、あなただけ使用することができます値がlookup_valsであり、添え字がoriginal_keysです。

ので、何かのように：また

import binascii 
import numpy 

string_list = ['a', 'b', 'c', 'a', 'b', 'd', 'c'] 
int_list = [binascii.crc32(string)**2 for string in string_list] 

original_keys, lookup_vals = numpy.unique(int_list, return_inverse=True) 

bins = bincount(lookup_vals) 

、それはあなたの整数を二乗する必要がありません。

Answer 3

Thiago、 また、scipyのitemfreqメソッドを使用してカテゴリ変数から直接試すこともできます。 ここに例があります：

>>> import scipy as sp 
>>> import scipy.stats 
>>> rv = ['do', 're', 'do', 're', 'do', 'mi'] 
>>> note_frequency = sp.stats.itemfreq(rv) 
>>> note_frequency 
array([['do', '3'], 
     ['mi', '1'], 
     ['re', '2']], 
     dtype='|S2')