非常に大きなCSVファイルを書くPHPのDB出力から

Question

私は1秒ごとに収集されるセンサーデータのDBを持っています。クライアントは12時間のチャンクをCSV形式でダウンロードできるようにしたいと考えています。これはすべて完了です。

出力は悲しいほどストレートなデータではなく、CSVを作成する前に処理する必要があります（部品はDBにJSONとして保存されています）ので、テーブルをダンプすることはできません。

負荷を軽減するために、ファイルを初めてダウンロードしたときにディスクにキャッシュして、そのファイルをダウンロードするだけのリクエストがあると考えました。

file_put_contents、FILE_APPENDを使って書いてみるのはやめて、すべての行をエコーするだけですが、スクリプトを512Mに渡してもメモリが不足していても書きます。

ので、これはこれは、それも、私はそれがメモリにすべてを記憶している、すべての行でますfile_put_contentsを呼び出しています思ったように思えるない

while($stmt->fetch()){ 
    //processing code 
    $content = //CSV formatting 
    file_put_contents($pathToFile, $content, FILE_APPEND); 
} 

ん

while($stmt->fetch()){ 
    //processing code 
    $content = //CSV formatting 
    echo $content; 
} 

動作します。

提案がありますか？

Answer 1

問題は、file_put_contentsがすべてを一度にダンプしようとしていることです。代わりに、あなたの書式でループして、fopen、fwrite、fcloseを使うべきです。

while($stmt->fetch()){ 
    //processing code 
    $content[] = //CSV formatting 
    $file = fopen($pathToFile, a); 
    foreach($content as $line) 
    { 
     fwrite($file, $line); 
    } 
    fclose($file); 
} 

これにより、ある時点でデータに投げ込まれるデータの量が制限されます。

Answer 2

私は一度に1行書くことに完全に同意します。一度に1行以上メモリにロードされることは決してありません。私は同じことをするアプリケーションを持っています。しかし、私がこの方法で見つけた問題は、ファイルが永遠に書き終わるまでにかかることです。だから、この投稿はすでに言われていることをバックアップするだけでなく、これをスピードアップする方法について皆さんに意見を求めることです。たとえば、私のシステムでは、抑制ファイルに対してデータファイルを消去するので、一度に1行ずつ読み込み、抑制ファイル内で一致するものを探すと、一致するものが見つからなければ、新しい整理済みファイルにその行を書き込みます。しかし、50kのラインファイルは約4時間かかって終了しているので、もっと良い方法を探しています。私はいくつかの方法を試しましたが、この時点では、サプレッションファイルの各行を通して別のループを実行する必要がありますが、それでもまだ時間がかかります。

システムのメモリを管理するには、行単位で行うのが一番良い方法ですが、50k行のファイル（行は電子メールアドレスと名字です）から処理を終了するまでの処理時間を取得したいと思います可能であれば30分以内に

fyi：抑制ファイルのサイズは16,000 kbであり、memory_get_usage（）によって示されるスクリプトによって使用されるメモリの合計は約35メガバイトです。

ありがとうございます！