私のアプリでndb

Question

でエンティティのバッチを取得、変更、配置する最も効率的な方法は、私はいくつかのバッチ処理を実行します。 残念ながら、これは時々、400-500のエンティティを更新するために永遠に必要です。 私が持っているものはすべてエンティティキーです、私はそれらを取得し、プロパティを更新し、データストアに保存し、それらを保存することが何を探しているものではない40~50秒かかることがあります。

は病気（とにかく非常に簡単である）私は何をすべきかを説明するために私のモデルを単純化：

は

class Entity(ndb.Model): 
    title = ndb.StringProperty() 

keys = [key1, key2, key3, key4, ..., key500] 

entities = ndb.get_multi(keys) 

for e in entities: 
    e.title = 'the new title' 

ndb.put_multi(entities) 

取得し、変更することはあまり時間はかかりません。 get_asyncをタスクレットに入れようとしましたが、getまたはforloopがもっと時間がかかる場合にのみ変更可能なものがあります。

が、何本当に私を気にすることはプットが50秒までかかることである...時間のまともな量で、この操作（複数可）を行うための最も効率的な方法は何か

。もちろん、私はエンティティの複雑さのような多くの要素に依存していることを知っていますが、それを置くのにかかる時間は本当に私にとって許容可能な限界を超えています。
私はすでに非同期操作、タスクレットを試していました...

Answer 1

例えば50または100個のエンティティのより小さなバッチ処理を高速化することができますか？それをタスクにすると

これをAppstatsと見ることで、これが驚くようなものかどうかを確認することもできます。

最後に、これがHRDを使用すると仮定すると、バッチあたりのエンティティグループの数に制限があることがあります。この制限はデフォルトでは非常に低く設定されています。それを上げてみてください。

Answer 2

MapReduceが設計したもののような音です。複数のサーバーインスタンスにまたがってスケーリングされた同時に、すべてのエンティティを同時に取得して変更することで、これを高速に実行できます。あなたのコストは、しかし、より多くのインスタンスを使用して上がる。

Answer 3

私はあなたが望むエンティティデザインを持っていると仮定しようとしています（つまり、あなたは何をしようとしているのでしょうか？そして大量のエンティティではなく、あなたが常に更新しなければならない小さなもの）。それはあまりいいことではないからです。 （=

タスクキューを使用した場合複数のタスクを作成し、各タスクが更新を担当するキーと設定するプロパティと値をURLパラメータとして取り込むことができます。