Perlの大容量ファイルから特定の行を読み取る

Question

大容量ファイルの特定の行をメモリにロードせずに読み取る高速かつメモリ効率のよい方法はありますか？

多くのフォークを実行するperlスクリプトを作成しました。ファイルから特定の行を読みたいと思います。外部コマンドを使用して瞬間イムで

：

sub getFileLine { 
    my ($filePath, $lineWanted) = @_; 
    $SIG{PIPE} = '_IGNORE_'; 
    open(my $fh, '-|:utf8', "tail -q -n +$lineWanted \"$filePath\" | head -n 1"); 
    my $line = <$fh>; 
    close $fh; 
    chomp($line); 
    return $line; 
} 

その高速とそれが動作する - など、高速で、この1のように効率的なメモリのような、より「のPerlっぽい」方法を、多分そこですか？

ご存じのように、Perlでフォークプロセスを作成すると、メインのプロセスメモリが複製されるため、メインプロセスで10MBが使用されている場合、フォークは少なくともその分を使用します。

私の目標はフォークプロセス（フォークを実行するまでのメインプロセスも）メモリをできるだけ使用しないようにすることです。それで私はなぜファイル全体をメモリにロードしたくないのですか？

Answer 1

さらに進む前に、forkの仕組みを理解することが重要です。 forkプロセスでは、OSはcopy-on-writeセマンティクスを使用して、親プロセスと子プロセスの大部分のメモリを共有します。親と子の間で異なるメモリ量だけを別々に割り当てる必要があります。

open my $fh, '<', $filePath or die "$filePath: $!"; 
my $line; 
while(<$fh>) { 
    if($. == $lineWanted) { 
     $line = $_; 
     last; 
    } 
} 

これは、現在のファイルハンドルの行番号を保持している特殊な$.変数を使用しています：Perlでのファイルの単一の行を読み取るための

は、ここでは簡単な方法です。

Answer 2

コアモジュールTie::Fileをご覧ください。

Answer 3

フォークする必要はありません。あなたが想像することができるように、ファイルから特定の行を読み取ることは、CPAN上の20kモジュールの1つがすでにそれを行うのに十分な操作です。

File::ReadBackwardsは、メモリ効率が高く高速です。