Google DatastoreでQuerySplitterを使用して既知のサイズのチャンクを読み込む

Question

Google Datastoreテーブルから大量のデータを読み込みたいとします。パフォーマンスのために、私は並行して、それぞれがたくさんのオブジェクトを読み込むいくつかのクエリを実行したいと思います。カーソルは並列実行には適していません。

QuerySplitterです。しかし、のQuerySplitterについては、分割数を教えてください。私が気にしているのは、特定の数のオブジェクトを読み込むことです。この数は、アプリケーションのニーズに合わせて選択されていますが、大きすぎます。各クエリーによって返されるオブジェクトの数が非常におおよそ同じであれば問題ありません。異なるスレッドが異なる時間稼働しているということは悪化しません。

どうすればよいですか？私はそれらを数えるためにすべてのオブジェクトのキーだけを照会し、800で割ることができます。より良い方法がありますか？

Answer 1

すべてのエンティティ（偶数キーのみ）をクエリすることはあまり適切ではないかもしれませんが、定期的にクエリを実行し、ジョブを実行する頻度に応じてデータストアまたはmemcacheにカウントを保存できます。

ただし、特定の種類のエンティティをすべて見つけるには、Datastore Statistics APIを使用することができます。統計情報の更新頻度はわかりませんが、おそらくコンソールの統計情報と同じです。

カウントを頻繁に使用する場合や、フィルタリングされたクエリの数値を使用する場合は、カウンタを分割することを検討してください。おおよその数字だけが必要なので、新しいそれぞれのputで非同期に更新することができます。