ファイル処理を最適化する方法は？

Question

私は、100k行以上の8MBファイルを読み込み、100行のチャンクで表示するPerl/CGIスクリプト（ページネーションを使用）に取り組んでいます。次のいずれかが

1. 配列に全入力ファイルを格納し、各ページの100行を抽出する（配列スライスを使用して）

   my @extract = @main_content[101..200]; 
   

   又は

速くなり

2. 各ページについて、sedコマンドを使用して、ユーザーが表示する100行を抽出します。

   sed -n '101,200'p filename 
   

Answer 1

あなたが本当にパフォーマンスがその後、CGIを使用しない場合は、リクエスト間でメモリ内のデータの永続的なコピーを保持し、何かを使用してみてください。最近は8MBという小さなものですが、リクエストごとにロードすることは賢明ではなく、ファイル全体をスキャンすることもありません。 Modperlはこれを行う古い方法でした。それはWebサーバーに埋め込まれたPerlインタプリタでした。新しい方法は触媒やダンサーを使用することです。これらの指示はこの返答の範囲外です。これが時折使用されるだけで、使用を制限するためにパスワードで保護されていれば、CGIを使用することで逃げることができます。