Cassandraのselect ResultSetを使ってforループを改善する

Question

Cythonでは、10個のカラムを持つCassandraテーブルから約600000の行をフェッチしようとしています。それから、私はすべてを繰り返します。テストのパフォーマンスのために、ここで私はread.pyxに何をやった：forループ9.449406862258911sでの撮影

from cassandra.cluster import Cluster 
import pandas as pd 
import time 

cpdef int get_max_volume(): 
    cluster = Cluster() 
    session = cluster.connect() 
    session.execute("USE trading") 
    rows = session.execute("SELECT * FROM fx WHERE ins='EURUSD' limit 600000") 
    max_vol = 0 
    start = time.time() 
    for i in rows: 
     max_vol = max(max_vol, i.volume) 
    print(max_vol) 
    print(time.time() - start) 
    return max_vol 

時間を。この数は純粋なPythonのバージョンとあまり変わりません。

また、私はPandas DataFrameの形で結果を得ようとしましたが、悪化するだけです。多くの情報源がfor-loopの改善方法を紹介し、SELECTの結果をDataFrameに取り込み、DataFrameを通して反復処理を改善しています。しかしそれらを混在させると、コードは~25sになります。

この番号を改善する他の方法はありますか？クエリは変更しないでください。

ご迷惑をおかけして申し訳ございません。

Answer 1

バッチ/バケット、非同期呼び出し、ページングなどを使用して、600k行を実行するパフォーマンスを向上させたい場合は、並列実行してパフォーマンスを向上させるためのすべてのツールがあります。

この特定の「ループ」のパフォーマンスを向上させたい場合は、多くのことがわかりません。ほとんどの時間はすべてのI/O部分でなければなりません。行ファクトリを上書きしたり、転送に圧縮を使用したり、CL_ONEを使用したりできます。

また、「最大」または他の種類の集約を選択する場合は、論理をCassandraに移動してUDF/UDAを使用することができます。