一覧

Question

..

問題があり、ログファイルを一括して11ギガバイトの周りにあります。シェルでgrepを使用して検索すると、約4〜5分かかります。私は私のpythonスクリプトでそれを行うときに、それは私がそれを再起動する必要がある程度にサーバーをハングアップします。

サーバ全体がクラッシュする原因になるとは思われませんが、実際には先週修正されたファイルだけをすべてスクロールする必要はありません。

私はこれまでのところ、これを持っている：

logs = [log for log in glob('/var/opt/cray/log/p0-current/*') if not os.path.isdir(log)] 

私は私が最初に間違ったファイルをフィルタリングする前にこれに何かを追加する必要がありますと仮定？

私はこの形式でos.path.getmtimeでプレーしてきた：

logs = [log for log in glob('/var/opt/cray/log/p0-current/*') if not os.path.isdir(log)] 

for log in logs: 
    mtime = os.path.getmtime(log) 
    if mtime < "604800": 
     do-stuff (create a new list? Or update logs?) 

私は今の私どこのようなものだし、それは動作しませんが、私は私が行うことができ、よりエレガントなものがあった期待していましたリストインライン？

Answer 1

ファイル名の数とメモリの使用量（512MB VPS？）によっては、メモリが不足していて、すべてのファイル名のリストが2つ作成されている可能性があります（globから1つ、リストの理解から1つ）。大したことはありません。

iglob（これはフードの下でos.scandirを使用し、イテレータを返します）とジェネレータ式を使用して、それが役立つかどうかを試してみてください。

また、getmtimeは今から一定の時間を得ます。

import os 
import glob 
import time 

week_ago = time.time() - 7 * 24 * 60 * 60 
log_files = (
    x for x in glob.iglob('/var/opt/cray/log/p0-current/*') 
    if not os.path.isdir(x) 
    and os.path.getmtime(x) > week_ago 
) 
for filename in log_files: 
    pass # do something