python cassandraドライバを使用してcassandraに最も速く挿入する方法

Question

python Cassandraドライバを使用して、複数のエントリをCassandraのテーブルに挿入して更新しています。現在、私のコードは次のようになります。

cluster = Cluster() 
session = cluster.connect('db') 
for a in list: 
    if bool: 
     # calculate b 
     session.execute("UPDATE table SET col2 = %s WHERE col1 = %s", (b, a)) 
    else: 
     # calculate b 
     session.execute("INSERT INTO table(col1, col2) VALUES(%s, %s)", (a, b)) 

挿入されるリストのエントリ数は、（すべてがユニークである）非常に大きいとして挿入および更新するこの方法は非常に遅いです。これを行うより速い方法がありますか？

Answer 1

一般的にこのシナリオでは、Cassandraへの同時書き込み数を増やすことで最高のパフォーマンスが得られます。

あなたはあなたの説明からexecute_concurrent

を使用してDatastaxのPythonカサンドラドライバでこれを行うことができ、それはあなたのケースのためのカサンドラとUpdateとInsert差がないことは注目に値します。 （つまり、あなたは、単に（A、B）。

あなたはプリペアドステートメントを作成することになるでしょうが、すべての値のためのあなたのelse節からのINSERT文を行うことができます。

よりもむしろで一度に挿入いずれかの操作を実行しますあなたのループのために、execute_concurrentの入力として（a、b）はペアの事前計算グループを検討し、あなたもexecute_concurrentのための入力として、発電機や発電機の式を書くことができます

例：。

parameters = ((a, calculate_b(a)) for a in my_list) 
execute_concurrent_with_args(my_session, my_prepared_statement, parameters)