データベース読み取りでtqdmを使用できますか？

Question

SQLデータベースからpandasデータフレームまでの大きな関係を読み込んでいる間は、タプルの数が静的にわかっており、I/Oレートが推定できるので、進捗バーがあるといいでしょう。 tqdmモジュールの機能がtqdm_pandasで、列に対するマッピング機能の進捗状況が報告されているようですが、デフォルトではこのようなI/Oで進行状況を報告する効果はありません。 pd.read_sqlへの呼び出しでtqdmを使用して進行状況バーを表示することはできますか？

Answer 1

あなたはこのような何かをするchunksizeパラメータを使用することができます。

chunks = pd.read_sql('SELECT * FROM table', con=conn, chunksize=100) 

df = pd.DataFrame() 
for chunk in tqdm(chunks): 
    df = pd.concat([df, chunk]) 

私はこれは同様に、より少ないメモリを使用すると思います。