250,000ファイルのディレクトリに対してPerlのreaddirをスピードアップするにはどうすればよいですか？

Question

Perl readdirを使用してファイルのリストを取得していますが、ディレクトリに250,000を超えるファイルが含まれているため、readdirを実行するのに長時間（4分以上）がかかるため、80MB以上のRAMを使用します。これは5分ごとに定期的な仕事を予定していたため、この遅延時間は受け入れられません。

詳細情報： 別のジョブでは、スキャン中のディレクトリ（1日に1回）がいっぱいになります。 このPerlスクリプトは、ファイルの処理を行います。ファイル数はスクリプトの反復ごとに指定され、現在は実行ごとに1000回です。 Perlスクリプトは5分ごとに実行され、1000個までのファイルを処理します（該当する場合）。 Perlが複雑なワークフローを引き起こすデータをデータベースにプッシュする際に、ダウンストリーム処理を継続できるようにするためのファイル数の制限。

ディレクトリからファイル名を取得する別の方法があります。理想的にはこのスクリプトの速度を大幅に向上させる1000（変数で設定）に制限されていますか？

Answer 1

readdirが分と80 MBを取っていると正確にはどういう意味ですか？その特定のコード行を表示できますか？スカラーコンテキストまたはリストコンテキストでreaddirを使用していますか？

あなたはこのような何かをやっている：

foreach my $file (readdir($dir)) { 
    #do stuff here 
} 

をそのような場合は、メモリにリストディレクトリ全体を読んでいます。長い時間と多くの記憶が必要なのは不思議ではありません。

この投稿の残りの部分は、リストの文脈でreaddirを使用していない場合、これが問題であるとみなし、残りの投稿を無視します。

この問題を解決するには、whileループを使用し、スカラーコンテキストでreaddirを使用します。

while ( 
    defined(my $file = readdir $dir) 
) { 

    # do stuff. 

} 

これで、一度に1つのアイテムのみを読むようになりました。処理するファイルの数を追跡するためにカウンタを追加することもできます。

Answer 2

おそらくそうではありません。私はほとんどの時間は、ディレクトリエントリを読み取っていると思います。

しかし、あなたが前処理全体のディレクトリ1000のエントリごとに1ファイルを作成し、リストアップできました。そして、あなたのプロセスはそのたびにこれらのリストファイルの1つを実行し、ディレクトリ全体を読み取る費用を負担することはありません。

readdir()は、ベースラインを得るために他の処理を行わないでディレクトリに入力してみましたか？

Answer 3

ソリューションは多分もう一方の端にあるのでしょう：ディレクトリを埋めるスクリプトで...

をすべてのこれらのファイルを格納するための樹枝を作成し、その方法は、管理可能な数とディレクトリの多くそれぞれを持っていないのはなぜのファイルですか？

代わりの "mynicefile.txt" なぜ "M /私/ mynicefile"、またはそのような何かを作りますか？

お使いのファイルシステムは、（あなたも一緒に終了したときに、空のディレクトリを削除する場合は特に）そのためにあなたに感謝します。

Answer 4

これはまさにあなたのクエリへの答えではありませんが、私は同じディレクトリに多数のファイルが（ファイルシステムのハンドルが操作を追加および削除する速度、を含む全体的な速度のために非常に良いことではないことを持つと思いますあなたが見ただけでなく、リストに載せます）。

この設計上の問題を解決するには、ファイル名の最初の文字ごとにサブディレクトリを作成し、そのディレクトリ内にその文字で始まるすべてのファイルを配置することです。必要に応じて、2番目、3番目などの文字に再帰します。

may操作では、明らかに速度の向上が見られます。

Answer 5

あなたは、コンテンツがZIPファイルを解凍してそこに到着したと言っています。 1つのディレクトリに250kのファイルを作成/使用するのではなく、zipファイルで作業してみませんか？基本的には

- それをスピードアップするために、あなたはPerlで、ではなく、ファイルシステムレベルでの具体的なものを必要としません。あなたがディレクトリ内の250kファイルで作業しなければならないことを100％確信しているなら（これは何かが必要な状況を想像することはできません）、あなたはそれを扱うためにファイルシステムを見つけることよりもずっと良いですそれをより速くスキャンするperlの "魔法の"モジュールです。

Answer 6

あなたはreaddirをスピードアップするつもりはありませんが、ディレクトリを監視する作業をスピードアップすることができます。あなたはOSにアップデートを求めることができます - 例えば、Linuxはinotifyを持っています。ここではそれを使用する方法についての記事です：

http://www.ibm.com/developerworks/linux/library/l-ubuntu-inotify/index.html?ca=drs-

あなたはPerlのからバージョンinotifyを使用することができます。

http://metacpan.org/pod/Linux::Inotify2

差があなたの代わりにあるスクリプトの1長時間実行アプリを持っているということですcronによって始まりました。このアプリケーションでは、（inotifyによって提供される）新しいファイルのキューを保持します。次に、タイマーを5分ごとにオフにして、1000個のアイテムを処理します。その後、制御はイベントループに戻り、5分後に起きて1000個以上のアイテムを処理するか、inotifyはキューに追加するファイルをさらに送信します。

（ところで、あなたはタイマーを処理するためにイベントループが必要になります。私はEVをお勧めします。）