Google Bigtableのパフォーマンス：QPS vs CPU使用率

Question

小さなBigtableクラスター（最低3ノード）をテストしています。 Googleコンソールでは、Write QPSレベルが10Kに近づくにつれて、CPU使用率が〜80％の推奨最大値に近づくことがわかります。

QPSメトリックは、各ノードではなく、インスタンス全体のものですか？その場合、技術的にはQPSの負荷は30,000ガイダンスの1/3にすぎませんが、なぜCPUのしきい値に達するのですか？私はちょうど何か私のデータアップロードプログラム（Dataflow経由で行われている）でオフになっているかどうかを理解しようとしています。

なぜ私は30K Writes/secに近いものを観察することができないのか不思議ですが、これはデータフロー側の制限によるものだと私は思っています。 ..

Answer 1

CPUグラフには、Bigtableに過負荷がかかっていることを示す明確な指標が表示されます。残念ながら、一括書き込みAPIを追加して以来、QPSは過負荷の根本的な原因を特定するための理想的な指標ではありません。 Bigtable/Dataflowの読み込みでは、1回のバッチで複数のリクエストを送信するクラウドbigtableのバルクAPIを使用し、1回のクエリで数回の更新リクエストが可能になりました。 1秒あたりに更新された行はより良いメトリックですが、クラウドビッグテーブル側にはまだ存在しません。 Cloud Bigtableの手順でデータフローのUIに相当する指標があり、その数値を使用してCloud Bigtableのパフォーマンスを判断できます。

私が使用する経験則は、書き込みを行うときに〜1 Cloudflow BigtableノードあたりのデータフローワーカーCPUです。あなたの仕事は8つのCPUと3つのBigtableノードで適切に設定されている可能性が非常に高いです。あなたの説明を考えれば、あなたのシステムはできるだけ効率的に働いていると思います。