os.walkまたはglobにすばやく

Question

私は大規模なハードディスク上のpythonでファイルルックアップを使いこなしています。私はos.walkとglobを見てきました。私は通常、os.walkを使っています。私はそれをもっとうまく見つけて、通常のサイズのディレクトリの方が速いようです。

どちらも誰も経験したことがあり、どちらが効率的であると言えるでしょうか？私が言うように、グロブは遅くなるようですが、ワイルドカードなどを使用することができます。散歩と同じように、結果をフィルタリングする必要があります。コアダンプを参照する例を次に示します。

core = re.compile(r"core\.\d*") 
for root, dirs, files in os.walk("/path/to/dir/") 
    for file in files: 
     if core.search(file): 
      path = os.path.join(root,file) 
      print "Deleting: " + path 
      os.remove(path) 

それとも

for file in iglob("/path/to/dir/core.*") 
    print "Deleting: " + file 
    os.remove(file) 

Answer 1

となるだろう。タスクは、dirs内のファイルの総数を数えることでした。出力は次のとおりです。

os.listdir: 0.7268s, 1326786 files found 
os.walk: 3.6592s, 1326787 files found 
glob.glob: 2.0133s, 1326786 files found 

ご覧のとおり、os.listdirは最も早いです。このタスクではglog.globはまだos.walkより速いです。

ソース：

import os, time, glob 

n, t = 0, time.time() 
for i in range(1000): 
    n += len(os.listdir("./%d" % i)) 
t = time.time() - t 
print "os.listdir: %.4fs, %d files found" % (t, n) 

n, t = 0, time.time() 
for root, dirs, files in os.walk("./"): 
    for file in files: 
     n += 1 
t = time.time() - t 
print "os.walk: %.4fs, %d files found" % (t, n) 

n, t = 0, time.time() 
for i in range(1000): 
    n += len(glob.glob("./%d/*" % i)) 
t = time.time() - t 
print "glob.glob: %.4fs, %d files found" % (t, n) 

Answer 2

あなたは、サブディレクトリを再帰os.walkを使用する必要がある場合。それ以外の場合は、glob.iglobまたはos.listdirを使用する方が簡単だと思います。

Answer 3

os.walkを使用しても、依然としてグロブスタイルマッチングを使用できます。

for root, dirs, files in os.walk(DIRECTORY): 
    for file in files: 
     if glob.fnmatch.fnmatch(file, PATTERN): 
      print file 

ないスピードについて確認が、明らかos.walkが再帰ているので、彼らは別のことを行います。

Answer 4

測定/プロファイリングの前に、最適化のための時間を無駄にしないでください。コードをシンプルで保守しやすくすることに重点を置いてください。

例えば、あなたのコードでは、reモジュールにはプリコンパイルされたREの内部re._cacheがあるので、スピードブーストを与えないREをプリコンパイルします。

1. それは遅いです場合は、いくつかの微調整を行い、最適化し、常にいくつかの最適化がいくつか行われていること、それは

注意を文書化する必要が正確に何を知っていれば、それは簡単な

、その後、

をプロファイリングしてください「最適化されていない」コードと比較して、コード実行速度を遅くすることができます。これは、特に現代のJITベースの言語に適用されます。

Answer 5

*, ?, and character ranges expressed with [] will be correctly matched. This is done by using the os.listdir() and fnmatch.fnmatch() functions

は、私はあなたのサブディレクトリツリーが直接どのように深く知っている限りでもグロブとあなたはまだ、os.walkに持っていると思います。

Btw。 glob documentationでそれは言う：

"*と、文字範囲[]正しく マッチこれは、（os.listdirを使用して行われる）とfnmatch.fnmatch（） 機能するだろうと表明？。"

私は単に私が1000のdirs中のWebページの小さなキャッシュに研究を行った

for path, subdirs, files in os.walk(path): 
     for name in fnmatch.filter(files, search_str): 
      shutil.copy(os.path.join(path,name), dest)