により大規模かつ複雑なディレクトリ構造にos.walk

Question

でディレクトリをターゲットに、私のスクリプトが検索され、あまりにも多くのディレクトリ：

root-- 
    | 
    --Project A-- 
        | 
        -- Irrelevant 
        -- Irrelevant 
        -- TARGET 
    | 
    --Project B-- 
        | 
        -- Irrelevant 
        -- TARGET 
        -- Irrelevant 
    | 
    -- Irrelevant -- 
         | 
         --- Irrelevant 

ターゲットディレクトリは、私が横断する必要がある唯一のものであり、それは一貫しています各プロジェクトの名前（ここではTargetと呼ぶ）。

私はこの質問を見て：

Excluding directories in os.walk

代わりのを除く、私は「ターゲット」「ルート」レベルではないディレクトリが、1レベル下を含める必要があります。私はのように何かをしようとした

：

def walker(path): 
    for dirpath, dirnames, filenames in os.walk(path): 
     dirnames[:] = set(['TARGET']) 

しかし、この1つのエフェクトのルートディレクトリ（それによって、トラバースする必要があるすべてのディレクトリを無視して、プロジェクトA、プロジェクトB ...）

Answer 1

あなたのコードの問題は、あなたがdirnamesリストを変更常にであるということですが、これも、ルートレベルにあるすべてのサブディレクトリが削除されていることを意味し、したがって、再帰呼び出しはしないでください様々なProject Xディレクトリにアクセスしてください。

if 'TARGET' in dirnames: 
    dirnames[:] = ['TARGET'] 

これはos.walk呼び出しはProject Xディレクトリを訪問することができますが、Irrelevantの内側に行くから、それを防ぐことができます：あなたが欲しい

は、他のディレクトリTARGET 1が存在しているだけをパージすることですもの。

Answer 2

このようなホワイトリストのシナリオでは、glob.iglobを使用してパターンでディレクトリを取得することをお勧めします。これはジェネレーターなので、各結果が見つかるのと同じくらい速く取得できます（注：書面ではos.scandirではなくos.listdirで実装されているので、生成器の半分に過ぎず、各ディレクトリーが熱心にスキャンされ、現在のディレクトリから値を取得すると、次のディレクトリだけをスキャンします）。たとえば、この場合には：

from future_builtins import filter # Only on Py2 to get generator based filter 

import os.path 
import glob 

from operator import methodcaller 

try: 
    from os import scandir  # Built-in on 3.5 and above 
except ImportError: 
    from scandir import scandir # PyPI package on 3.4 and below 

# If on 3.4+, use glob.escape for safety; before then, if path might contain glob 
# special characters and you don't want them processed you need to escape manually 
globpat = os.path.join(glob.escape(path), '*', 'TARGET') 

# Find paths matching the pattern, filtering out non-directories as we go: 
for targetdir in filter(os.path.isdir, glob.iglob(globpat)): 
    # targetdir is the qualified name of a single directory matching the pattern, 
    # so if you want to process the files in that directory, you can follow up with: 
    for fileentry in filter(methodcaller('is_file'), scandir(targetdir)): 
     # fileentry is a DirEntry with attributes for .name, .path, etc. 

は、より高度な使用のためのos.scandir上のドキュメントを参照してください、またはあなただけであるとして、あなたの元のコードの大部分を維持するために内部ループos.walkにコールすることができます。

実際にos.walkを使用する必要がある場合は、dirsのプルーニングのターゲットを絞ることができます。 TARGETディレクトリはすべて1レベル下にする必要があるため、実際はかなり簡単です。 os.walkがデフォルトでトップダウンします。これは、結果の最初のセットがルートディレクトリ（TARGETのエントリのみにプルーニングしたくない）になることを意味します。だから、あなたが行うことができます：

import fnmatch 

for i, (dirpath, dirs, files) in enumerate(os.walk(path)): 
    if i == 0: 
     # Top level dir, prune non-Project dirs 
     dirs[:] = fnmatch.filter(dirs, 'Project *') 
    elif os.path.samefile(os.path.dirname(dirpath), path): 
     # Second level dir, prune non-TARGET dirs 
     dirs[:] = fnmatch.filter(dirs, 'TARGET') 
    else: 
     # Do whatever handling you'd normally do for files and directories 
     # located under path/Project */TARGET/