openpyxl readonly use_iterators

Question

私はいくつかの巨大なExcelファイルを持っていますが、私は "控えめな"もの（50Mバイト）でも邪魔されています。私は最初の2行をスキップする必要がありますが、私はそれが減速だとは思わない。他に何か考えてもらえますか？

wb = load_workbook(MyFile,read_only=True) 
ws = wb.active 

NDepth = ws.max_row-2 
NTime = ws.max_column -1 

Local_Depth = np.zeros((NDepth,)) 
Local_Temp = np.zeros((NDepth,NTime)) 

iterlist = islice(ws.iter_rows(),2,None) 

start = time.time() 

i=0 
for row in iterlist: 
    Local_Depth[i] = row[0].value 
    j=0 
    for col in row[1:]: 
     Local_Temp[i,j] = col.value 
     j += 1 
    i += 1 

print "Done", time.time()-start 

M4700 Dell Precisionでファイルをロードするのに7分以上かかることがあります。約8000行と800列。確かに何か間違っているはずですか？ Python 2.7のセットアップでは、どこか別の調整が必要なのでしょうか？

ありがとう、ジョン

Answer 1

私はこの仕事のためにパンダを試してみます。それは非常に簡単で、あなたに多くの力を与えます。 （iPythonから、それは約取った私の自宅のノートPC上で2分。）

import time 
import numpy as np 
import pandas as pd 

# let's generate some sample data (8000 rows, 800 columns) 
data = np.random.randint(0, 100, (8000, 800)) 

# let's generate column names from 'col001' to 'col800' 
cols = ['col{0:02d}'.format(i) for i in range(1,801)] 

# generating Pandas data frame from numpy array 
df = pd.DataFrame(data, columns=cols) 

# write generated DF (Data Frame) to Excel file 
df.to_excel(r'd:/temp/sample.xlsx', index=False) 
# we are done with sample data 

##################################################################### 
# 
# interesting part starts here ... 
# 
##################################################################### 

start = time.time() 

# read up the Excel file (skipping first two rows) 
df = pd.read_excel(r'd:/temp/sample.xlsx', skiprows=2) 

print "Done", time.time()-start 

# print the shape of out DF 
print(df.shape) 

出力：ここ

は小さな一例である今、あなたは、メモリ内のすべてのデータなどを持っている

In [24]: %paste 
start = time.time() 

# read up the Excel file 
df = pd.read_excel(r'd:/temp/sample.xlsx', skiprows=2) 

print "Done", time.time()-start 
## -- End pasted text -- 
Done 124.375999928 

In [25]: 

In [25]: df.shape 
Out[25]: (7998, 800) 

In [26]: # print the shape of out DF 

In [27]: print(df.shape) 
(7998, 800) 

DFを使用して、すべてのパンダのパワーを使って非常に快適に処理できます

PS次のPythonモジュールをインストールする必要があります：

Excelファイルは、長方形のシートであることを考えると、私は巨大なスピードを得るように私が取る場合は3210匹の

• numpyの
• パンダ
• はopenpyxlまたはXlsxWriter（あるいはその両方）

Answer 2

をxlrd ZIPに直接行くだけでAttachedは、一連の行を返すジェネレータのコードの一部です。この行を解析して、各行の<v>と</v>の間の実際の値を検索します。私はかなりこれをしようとはしていない - それは非常に非Pythonyに見えます。

def rowList(): 
with zipfile.ZipFile('MyFile.xlsx', mode='r') as z: 
    with z.open('xl/worksheets/sheet1.xml', 'r') as f: 
     irow =-1 
     while irow <0: 
      hstring = f.read(50000) 
      if hstring == "": 
       break; 
      irow = hstring.find("sheetData") 
     if irow < 0: 
      return 
     ist = hstring.find("<dimension") 
     string = hstring[ist+16: ist+50] 
     itl = string.find("/>") 
     yield string[:itl-1] 
     string = hstring[irow+10:] 
     while True: 
      irow = string.find("</row>") 
      while irow<0: 
       hstring = f.read(50000) 
       if hstring == "": 
        break; 
       string += hstring 
       irow = string.find("</row>") 
      if irow < 0: 
       return 
      irow +=6 
      ist = string.find("<c") 
      yield string[ist:irow-6] 
      string = string[irow:] 

計算時間を分から秒に減らします。

私には、openpyxlに似ているものがあるかと思います。これは、非常にフラットなファイルを開いていることを伝えるパラメータです。

Answer 3

私がダウンして22秒

import numpy as np 
import time 
from openpyxl import Workbook 
from openpyxl import load_workbook 
import zipfile 


def rowList(fullfilename): 
with zipfile.ZipFile(fullfilename, mode='r') as z: 
    with z.open('xl/worksheets/sheet1.xml', 'r') as f: 
     irow =-1 
     while irow <0: 
      hstring = f.read(50000) 
      if hstring == "": 
       break; 
      irow = hstring.find("sheetData") 
      if irow < 0: 
       return 
     string = hstring[irow+10:] 
     while True: 
      irow = string.find("</row>") 
      while irow<0: 
       hstring = f.read(50000) 
       if hstring == "": 
        break; 
       string += hstring 
       irow = string.find("</row>") 
      if irow < 0: 
       return 
      irow +=6 
      ist = string.find("<c") 
      yield string[ist:irow-6] 
      string = string[irow:] 


def splitRow(func,row): 

j = 0 
c1 = row.find("<v") 
c2 = 0 
while c1 > 0: 
    c1 += c2 + 3 
    c2 = c1 + row[c1:].find("</v") 
    yield func(row[c1:c2]) 
    j += 1 
    c2 += 3 
    c1 = row[c2:].find("<v") 


start = time.time() 

wb = load_workbook(MyFile,read_only=True, use_iterators=True) 
ws = wb.active 
NDepth = ws.max_row-2 
NTime = ws.max_column -1 
wb._archive.close() 

Local_Store = np.empty((NDepth,NTime+1)) 
Local_Time = np.empty((NTime,)) 

print NDepth, NTime 
print "Data Accessed via Iterators", time.time()-start 

start = time.time() 

print "About to call RowList" 

i = -2 
j = 1 
for row in rowList(MyFile): 
if i == -2: 
    True 
else: 
    if i == -1: 
     Local_Time[:] = list(splitRow(float,row)) 
    else: 
     Local_Store[i,:] = list(splitRow(float,row)) 

i += 1 

print i, "Rows Parsed", time.time()-start 

それはあなたが...私は、個人的には、そのためのパンダモジュールを使用することになり、このエクセルファイルからの読み取りされたデータをどうしようとしているかに依存し