メモリ不足のためPythonがクラッシュするコンピュータ

Question

これは重複した質問であれば事前にご容赦ください - 私はstackoverflowを検索しましたが、この方法は尋ねられませんでした。

私はコンピュータ上でPython 2.7を実行しています。私は800万行のデータセットで作業を開始しています。コンピュータのメモリが不足しているというエラーメッセージが表示されます。私はデータセットをアップロードする瞬間にこのメッセージを受け取ります_私はそれを処理し始めません。

実際に私のコンピュータ全体が何度かクラッシュしました。これは私の仕事用コンピュータなので、私は仮想メモリをきれいにするようにITに頼んだり、どんなメモリを増やしたり、HDをきれいにすることさえできます。しかし、私はまだその問題にぶつかっています。個人的な設定では、この問題を解決するためにAWSのpython jupyterノートブックを使用しましたが、私はこのオプションを使用していません。

お勧めですか？ pysparkは最善の方法ですか？私はスパークするために新しい、スパークのためのジュピターノートに似た何かがある？

は非常に多くの

Answer 1

TLをありがとう; DR：チャンクで読み、またはmmapを試してみてくださいどちらか。

これは実際にはRAMよりも多くのデータをメインメモリにロードしようとしているように見えるので、これはほとんどPythonに依存しません。お使いのオペレーティングシステムは、余分なデータや不必要なデータをハードディスク/ ssdに格納することで対処しようとしています（単一のCPU Skylakeシステムは30GB /秒以上、NVMe SSDは2GB /秒以上になる可能性があります）。通常のHDDは0.1GB/sの範囲内にあります]。 Windowsはこの仮想メモリを呼び出し、Linuxではスワップし、Macではわからない。

通常の解決策は、データをチャンクで処理することです。

何百万行ものテキストファイルがあり、一度に1行ずつ処理できるとします。いくつかのPerl的擬似コード：あなたがやろう何

$FH = open ("myhugefile"); 
while ($line = getLine ($FH)) { 
    process ($line); 
} 
close $FH; 

はもっとこのようなことのようです：

$FH = open ("myhugefile"); 
$array = new Array(); 
while ($line = getLine ($FH)) { 
    push ($array, $line); 
} 
close $FH; 
foreach ($line in $array) { 
    process ($line); 
} 

$arrayがメモリに格納されているので、第二のアプローチは、巨大なデータセットを持ついくつかの問題を持っています。

もちろん、process() -functionでもロットのデータが生成される可能性があります。だから、それをメモリに保存するのではなく、HDD/SSDに書き出す必要があるかもしれません。

コンパイラの構築講義では、別の生徒がmmapを使用してファイルをパーサに読み込んでいます。これは、非常にであることが判明しました。しかし、最初の割り当てでは他のものと比べて高速でした（ただし、実際の処理が悪い/単純な実装のために遅いため、後の割り当てに追いついていました）。

とにかく、mmapの背後にある基本的な考え方は、オペレーティングシステムが自分のファイルを自分のメモリにマップできるようにすることです。通常のメモリオブジェクトのようにアクセスできますが、コンテンツは動的にロードされます。

一般的な説明はWikipediaで見つけることができます：例とhttps://en.wikipedia.org/wiki/Mmap

Python2のドキュメント：https://docs.python.org/2/library/mmap.html （とても簡単に思える）