0
kerasを使用して文章を分類するRNNモデルを作成したいと思います。keras.preprocessing.textでTokenizerを使用しているときにメモリが不足しています
私は、次のコードを試してみました:
docs = []
with open('all_dga.txt', 'r') as f:
for line in f.readlines():
dga_domain, _ = line.split(' ')
docs.append(dga_domain)
t = Tokenizer()
t.fit_on_texts(docs)
encoded_docs = t.texts_to_matrix(docs, mode='count')
print(encoded_docs)
をしかしMemoryErrorを得ました。私はすべてのデータをメモリに読み込むことができないようでした。これは出力です:
Traceback (most recent call last):
File "test.py", line 11, in <module>
encoded_docs = t.texts_to_matrix(docs, mode='count')
File "/home/yurzho/anaconda3/envs/deepdga/lib/python3.6/site-packages/keras/preprocessing/text.py", line 273, in texts_to_matrix
return self.sequences_to_matrix(sequences, mode=mode)
File "/home/yurzho/anaconda3/envs/deepdga/lib/python3.6/site-packages/keras/preprocessing/text.py", line 303, in sequences_to_matrix
x = np.zeros((len(sequences), num_words))
MemoryError
ケラスに精通している人なら、データセットの前処理方法を教えてください。
ありがとうございます!