Pythonスクリプトは、カサンドラが照会し、大容量のために応答しない

Question

私はmy_keyspaceのLIMIT 5000000 FROM

SELECT *を使用してカサンドラからデータを取得するためのPythonスクリプトを実行した

。

制限を5百万回使用すると、レコードは処理時間22分後に表示されます。しかし、私は1000万レコードに制限を設定し、クエリを発生させると、スクリプトは非常に長い時間待って、私はまだ応答を受信して​​います。何が問題なの？

Answer 1

コーディネータノードがデータを取得するためにすべてのノードを要求する必要があるため、クエリでパーティションキーを指定していませんでした。また、コーディネーターはpythonスクリプトに結果を渡す前に何百万もの行をすべて収集し、コーディネーターに多くのガベージコレクション呼び出しを引き起こす可能性があります。

パフォーマンス上の問題がないようにするには、パーティションキーのないクエリを避ける必要があります。

詳細については、Cassandra Read Pathをご覧ください。