openpyxlでread_onlyを使ってexcelで300kのセルを読むのが不十分です

Question

openpyxlで大きなエクセルファイルを読み込んだり、load_workbook（）でread_onlyパラメータを読み込んだりすることについてここでかなりの質問がありました。 50x30ですが、30x1100枚のブックでそれをやろうとすると、それは失速します。今は、Excelを読み込んで多次元配列に変換するだけです。

from openpyxl import Workbook 
from openpyxl import load_workbook 


def transferCols(refws,mx,refCol,newCol,header): 
    rmax = refws.max_row 

    for r in range(1, rmax+1): 
     if (r == 1): 
      mx[r-1][newCol-1] = header 
     else: 
      mx[r-1][newCol-1] = refws.cell(row = r, column = refCol).value 


    return 

ref_wb = load_workbook("UESfull.xlsx", read_only= True) 
ref_ws = ref_wb.active 
rmax = ref_ws.max_row 

matrix = [["fill" for col in range(30)] for row in range(rmax)] 
print("step ", 1) 
transferCols(ref_ws,matrix,1,1,"URL") 
... 

私は唯一の進行状況を追跡するために、印刷（「ステップ」）の行を置くが、驚くべきことに、ステップ1で失速！私は構造が貧弱か300k細胞がopenpyxlにはあまりにも多いかどうかは分かりません。私はまだ私のput excelに書くことを始めたhaventまだ！前もって感謝します！

Answer 1

ワークシートが変更されていないと思われますので、ws.max_rowは不明です。この場合、ws.calculate_dimensions()を使用すると、両方のシートの行を並行して反復処理するだけです。

Answer 2

openpyxlを試してみてください。pandasをお試しください。パンダには、あなたがするべきデータをきれいにする機能があります。ここで

が書かれており、パンダに読み戻される10000行とデータの30列の例です：

import pandas as pd 
import numpy as np 
df = pd.DataFrame(np.random.randn(10000,30)) 
df.to_excel('test.xlsx') 
df1 = pd.read_excel('test.xlsx')