大きなファイルのitertoolsシステムエラー

Question

私は非常に大きなファイル（〜300GB）から偶数行を取得しようとしていますが、エラーを受け取っているのとほぼ同じサイズのファイルに対して実行できます。

import itertools 
import sys, os 

with open('FILE.fasta') as f: 
    fd = open("FILE.txt","w") 
    fd.writelines(set(itertools.islice(f, 0, None, 2))) 
    fd.close() 

とエラーは、次のとおりです：コードがある

Traceback (most recent call last): 
    File "new3.py", line 7, in <module> 
    fd.writelines(set(itertools.islice(f, 0, None, 2))) 
    SystemError: Negative size passed to PyString_FromStringAndSize 

あなたは確かにファイルがあまりにも大きいので、それはあると思いますか？コードが動作している間、私はメモリ使用量をチェックしました。それは決して50％以上でした。

私は助けていただきありがとうございます！

Answer 1

基礎となるイテレータからsetを作成しないでください。非常に高価な手順です。あなたは直接writelinesに、このイテレータを与えることができる必要があります：

fd.writelines(itertools.islice(f, 0, None, 2)) 

その他の小さなNIT：あなたはすでにライン上sysを輸入しているので、あなたが

import sys, os 

を記述する必要はありません

上記。上記の行を削除するか、import osと入力してください。