2016-12-23 9 views
1

大きなオブジェクト(約100'000)を持つオブジェクトをElasticSearchインデックスにインデックスしようとしていますが、オブジェクトがメモリに収まりません。時にはPostgresの制限を超え、時にはPHPを超えます。そして私はもう限界を増やすことはできません。大きなオブジェクトをElasticSearchにインデックスする

オンデマンドでレコードが1つずつ取り出されます。ページサイズは1に最小化されました。

フレームワークはSymfony3、バンドルはFOSElasticaBundleです。

明るいアイデアですか?インデックス付きオブジェクトをディスクに書き込む?

答えて

-1

よくわかっている問題ですが、php/ORMによるインデックス作成は遅いです。はるかに速いJava JDBC elasticsearch importerを見てください。

+0

しかし、1つのオブジェクトをフェッチするのに十分なメモリがなければ、これはどのようにして私の問題を解決できますか? :)それは物事を速くするだろう、私はあなたにそれを与える。 – JohnSmith

+0

Javaのメモリ消費量はPHPとは関係ありません。さらに、この弾性探査機フィーダは、メモリとスピードに最適化されています。 – COil

+0

PHPメモリの問題ではありませんが、Postgresも同様です。私のオリジナルのポストを見てください。 – JohnSmith

関連する問題