種類のすべてのエンティティを読む

Question

データベースに数百万の行を格納し、それらをすべてバッハ処理用に読み込む必要があります（json形式のディスクに格納されています。 ）。

GCPデータストアはこの種の作業に適していますか？私は「テーブルスキャン」が関わっているときにはかなり遅いかもしれないと感じています（これが私がやっていることです）。

BigQueryは過剰なようです。 CloudSQLはこの種の作業に最適でしょうか？

Answer 1

BigQueryは、ストレージやクエリには安価であり、高速です。たとえば、pricing documentationまたはpost about how to query a terabyte for free each monthで詳細を読むことができます。私はあなたの問題のために過度の余裕があるとは言いませんが、私はいくつかのバックエンドを試してみることをお勧めします。