何千ものレコードを実行しているときにPHPメモリが枯渇しました

Question

私は5,000の結果セットに対して次のコードを実行しています。メモリが使い尽くされて失敗しています。

foreach ($data as $key => $report) { 
    $data[$key]['data'] = unserialize($report['serialized_values']); 
} 

メモリ制限を超えることはできますが、代わりに問題なく実行したいと思います。私は記憶を永遠に引き上げることはできないだろう。

---

EDIT

は$dataこの形式である：

[1] => Array 
    (
     [0] => 127654619178790249 
     [report_id] => 127654619178790249 
     [1] => 1 
     [user_id] => 1 
     [2] => 2010-12-31 19:43:24 
     [sent_on] => 2010-12-31 19:43:24 
     [3] => 
     [fax_trans_id] => 
     [4] => 1234567890 
     [fax_to_nums] => 1234567890 
     [5] => ' long html string here', 
     [html_content] => 'long html string here', 
     [6] => 'serialization_string_here', 
     [serialized_values] => 'serialization_string_here', 
     [7] => 70 
     [id] => 70 
    ) 

Answer 1

forとforeachの問題以外にも、ソリューションを再構築する必要があります。正当にあまりにも多くのメモリを使用しているため、メモリの制限にぶつかっています。データベース列の内容をアンシリアライズし、アレイ

$data[$key]['data'] 

に格納するたびにPHPは、それが後でアクセスできるようにデータを格納するメモリのチャンクを取っておく必要があります。配列が大きすぎるとメモリが不足します。プレーン・イングリッシュで、あなたはPHPを教えています

すべての5000行のデータを取り込み、それらをメモリに格納します。後でそれらを使って何かを行います。

問題に近づくには、別の方法を考える必要があります。以下の項目は、この問題に関する2つの簡単な考えです。

あなたは、メモリ内の項目を格納し、ちょうどあなたがループにしたかったどんな行動取る、あなたはまた、唯一のあなたから必要な情報を格納することができ

foreach ($data as $key => $report) { 
    $object = unserialize($report['serialized_values']);   
    //do stuff with $object here 
} 

なる必要があるとして、PHPはアイテムを破棄することができませんでしたあなたが実際にあまりにも多くのメモリを使用しているので、あなたは、メモリの制限をヒットしている：むしろ

foreach ($data as $key => $report) { 
    $object    = unserialize($report['serialized_values']);   
    $data    = array(); 
    $data['foo']  = $object->foo; 
    $data[$key]['data'] = $data; 
} 

かいつまんでオブジェクト全体を保存するよりも、シリアライズオブジェクト、。ここには魔法の解決策はありません。シリアライズされたデータを格納し、すべてを単一のプログラムにロードしようとすると、言語/プラットフォームに関係なく、メモリ集中型のアプローチになります。

Answer 2

foreachメモリに全て5,000結果をロードします。多数の苦情をthe docsでご覧ください。 forループを使用し、必要に応じて各結果にアクセスします。

Answer 3

これは代わりに値をコピーするの参照を代入します

foreach ($data as $key => &$report) { 
} 

この方法を試してみてください。

Answer 4

これは実際に多くのサイトが結果をページで分割する理由です。

私は5000の結果があるとします（簡略化するために、ユーザーと言うと）、これらの5000の結果をすべて表示するページがあります。私は5000ページの結果を500ページに分け、ページ1は1〜500、ページ2は501〜1000、ページ3は1001〜1500などを表示します。このようにして、メモリが節約される。

5000ページの結果をすべて1ページに表示する必要がある場合は、実際にはメモリの容量を増やす必要があります。代わりにforループを使用してください。

Answer 5

私は確かに知りませんが、あなたは使用することがあります：

• gzip（$データセット）安全なメモリにデータを圧縮し、その場でそれを収縮させます。
• 制限（データ）が設定されています。
• システムのようなキャッシュを作成します。あまりにも多くのメモリを使用する場合、キャッシュからLRU（least recently used）データを削除します。

Answer 6

$dataとは何ですか。どこから取得していますか？ファイルの場合は、一度に1行ずつ解析してfgets（）することはできません。また、データベースであれば、一度に1つのレコードを処理することはできません（MySQLが結果セットを閉じるのを待っています） 。私は$dataの全体をすぐにメモリにロードし直してから、それをループすることを再検討すべきだと思います。

Answer 7

は、私はこれらのバグがまだ閉じられていないと思う：の

• https://bugs.php.net/bug.php?id=65814
• https://bugs.php.net/bug.php?id=60937

「ループ内で同じ直列化されたオブジェクトをunserializing、総メモリ 消費量が増加し、すべてのカップル反復 "