レコードの読み取りごとにメモリ使用量が増加する

Question

データベースのすべてのレコードを処理する必要があるデータベース管理タスクがいくつかあります。これは、CakePHPのの3.x ORMで、私はこのような何かを行うことができることを私の理解であり、それは今まで一度にメモリ内の1つのレコードを持っているでしょう：「

$records = TableRegistry::get('Whatever')->find(); 
foreach ($records as $record) { 
    // do some processing 
} 

しかし、これが最終的にクラッシュしますメモリ不足の例外です。 memory_get_peak_usageのロギングを少し追加しましたが、foreachループ内で発生したロギング以外は何もない場合でも、繰り返しごとに増加しています。デルタはループのたびに約12Kです。

私は3.2.7を実行しています。デバッグやSQLログを有効にしているかどうかにかかわらず、結果は似ています。 gc_collect_cycles()への頻繁な呼び出しを追加すると、処理が遅くなりますが、メモリ使用量には役立ちません。

これは予定ですか、またはバグですか？前者の場合、私は別にこのコードのを行うことができますか？ （明らかに、私はより小さなバッチでそれを処理することができましたが、それはエレガントな解決策ではありません）

Answer 1

私が理解したように、オブジェクトの反復処理を開始するときにORMを使ってクエリービルドを実行すると、記録）。したがって、すべてのデータがメモリにロードされ、各エントリを1つずつ繰り返します。

メモリ使用量を制限したい場合は、limitとoffsetを調べることをお勧めします。これらを使用すると、作業するサブセットを抽出して、メモリの使用を制限することができます。

Answer 2

CakePHP 3.x ORMには、ResultSetオブジェクトのクエリキャッシングが組み込まれています。結果セットを反復処理すると、エンティティは内部配列に格納されます。これはイテレータを巻き戻してループを再開できるように行われます。

大きな結果セットを1回だけ反復し、メモリ使用量を減らしたい場合は、結果バッファリングを無効にする必要があります。

$records = TableRegistry::get('Whatever')->find()->bufferResults(false); 
foreach ($records as $record) { 
    // do some processing 
} 

バッファリングをオフにすると、エンティティが結果セットからフェッチされ、その後に参照がないはずです。

この機能に関するドキュメントは、CakePHPの本にはありませんが、それはそうでなければなりません。ここで

は、APIのリファレンスです：

https://api.cakephp.org/3.3/class-Cake.Database.Query.html#_bufferResults