Pythonで.xlsxファイルを読む最速の方法

Question

私はPythonを使って.xlsxファイルからMySQLデータベースにデータを読み込もうとしています。ここで

は私のコードです：残念ながら

wb = openpyxl.load_workbook(filename="file", read_only=True) 
ws = wb['My Worksheet'] 

conn = MySQLdb.connect() 
cursor = conn.cursor() 

cursor.execute("SET autocommit = 0") 

for row in ws.iter_rows(row_offset=1): 
    sql_row = # data i need 
    cursor.execute("INSERT sql_row") 

conn.commit() 

、openpyxlのws.iter_rows（）痛々しいほど遅いです。私はxlrdとpandasモジュールを使って同様の方法を試みました。まだ遅いです。何かご意見は？

Answer 1

実際にコードをベンチマークし、ワークシートのサイズと処理に要した時間に関する情報を提供する必要があります。

openpyxlの読み取り専用モードは、本質的に、ワークシート全体をメモリに読み込まないようにするメモリの最適化です。 Excelワークシートを解析する場合、XMLをPythonに変換する作業がほとんどですが、これには限界があります。

しかし、2つの最適化は、心に春を行います

• をこれらが可能なドライバ

に一度行の多くを渡すためにループ

使用executemany外のSQL文を保ちます

INSERT_SQL = "INSERT INTO mytable (name, age…) VALUES (%s, %s, …)" 
c.executemany(INSERT_SQL, ws.values) 

あなただけの場合行のサブセットを使用してから参照してください。itertools.islice

これは現在のコードよりも速いはずですが、奇跡は期待できません。

純粋なパフォーマンスになると、xlrdはワークシートを読み込むときにopenpyxlよりも少し速くなります。なぜなら、読み込み専用ライブラリであることが主に関係しているためです。しかし、それは常にメモリに全体のブックを読み込みます。