Perlの固定幅データの処理を高速化するにはどうすればよいですか？

Question

ファイルからデータベースにデータをロードする成熟したコードがあります。 いくつかのファイル形式があります。それらはすべて固定幅のフィールドです。

一部のコードでは、Perl unpack()関数を使用して、入力データのフィールドをパッケージ変数に読み込みます。 ビジネスロジックは、これらのフィールドを「人間が読める」方法で参照することができます。

ファイルの読み取りコードは、ファイルを読み取る前に、フォーマット記述から1回生成されます。スケッチ形式で

、生成されたコードは次のようになります。コードをプロファイリング

while (<>) { 

    # Start of generated code. 

    # Here we unpack 2 fields, real code does around 200. 
    ($FIELDS::transaction_date, $FIELDS::customer_id) = unpack q{A8 A20}; 

    # Some fields have leading space removed 
    # Generated code has one line like this per affected field. 
    $FIELDS::customer_id =~ s/^\s+//; 

    # End of generated code. 

    # Then we apply business logic to the data ... 
    if ($FIELDS::transaction_date eq $today) { 
     push @fields, q{something or other}; 
    } 

    # Write to standard format for bulk load to the database. 
    print $fh join('|', @fields) . q{\n} or die; 
} 

時間の約35％がアンパックとリーディングスペースストリップに費やされていることが明らかになりました。 残りの時間は、データの検証と変換、および出力ファイルへの書き込みに費やされます。

ランタイムの1〜2％を占めるビジネスロジックの部分がないようです。

質問は - 私たちは何とかアンパックとスペースストリッピングから少しスピードを出せますか？好ましくは、FIELDSパッケージ変数を参照するすべてのコードをリファクタリングする必要はありません。

EDIT：場合

それは違い

$ perl -v 
This is perl, v5.8.0 built for PA-RISC1.1 

Answer 1

はいになります。 substrを使用して抽出するのが最も速い方法です。つまり：

$FIELDS::transaction_date = substr $_, 0, 8; 
$FIELDS::customer_id  = substr $_, 8, 20; 

がより高速になる可能性があります。さて、もし私がこのコードを手書きしていたら、私はunpackをあきらめませんでしたが、あなたがコードを生成しているならば、それにショットと測定値を与えるかもしれません。

は先頭のスペースを剥離するとしてもIs Perl’s unpack() ever faster than substr()?

への回答を参照してください、s/^\s+//は最速の方法である可能性が高いです。

更新：ベンチマークを実行することができなくても、明確なことは言うまでもありません。しかし、方法について：任意のトリミングとトリミング必要です

my ($y) = substr($_, 8, 20) =~ /\A\s+(.+?)\s+\z/; 

を必要としないフィールドの

my $x = substr $_, 0, 8; 

？

Answer 2

私は実際に何度もこの問題に取り組んできました。 Unpack is better than substr。

ストリップスペースがある限り、あなたはかなり嫌になります。その正規表現のハックはそれを行う "公式の"方法です。あなたは解凍文を改良することで効率を上げることができるかもしれません（データが4桁より長くないと仮定して、フィールドの全12桁を解凍するのはなぜですか？）そうでなければ、解析は単なるp.i.t.aです。

フラットデータで幸運を祈る。私がそれを嫌う方法、古くからのジャンクを欺く。

Answer 3

このタスクにプロセッサがバインドされていますか？計算は、プロセス全体がI/O境界になる可能性があると考えられるほど単純です。このような場合には、より速くアンパックするように最適化すると時間がかかりません。

実際にプロセッサにバインドされている場合は、説明されている問題はかなり並列化可能ですが、悪魔はビジネス計算の詳細にあります。

Answer 4

これはXSのためのものでもあります。そのため、C関数を使用してデータを変更します。データが実際にコピーされたときに手動で制御できるので、これは他のどの機能よりもはるかに高速です。
Cコンパイラに依存しているため、ビルドプロセスが難しくなり、追加の統合手順が必要になります。

Answer 5

単にパラレルにしてください。それは些細なことですが、遠隔の現代的なマシンでさえ、より速くなります。

Answer 6

コードのsubstrベースバージョンのベンチマークは、既存のアンパックより約50％高速かもしれないことを示唆しています。 実際のアプリケーションのコードを比較すると、substrのバージョンでは実行時間が16％短縮されました。 これは、ベンチマークとその質問で参照されているプロファイリングに基づいて私たちが望んでいたものに近いです。

この最適化は役に立ちます。しかし、私たちは新しいOSへの移行を控えているので、作業を進める前にコードがそこでどのように実行されるのかを待っています。比較ベンチマークに注目するためのテストを追加しました。

我々が今持っているイディオムは次のとおりです。

$FIELDS::transaction_date = substr($_, 0, 8) || ''; 
$FIELDS::transaction_date =~ s/\s+\z//; 
$FIELDS::customer_id = substr($_, 8, 20) || ''; 
$FIELDS::customer_id =~ s/\s+\z//; 

は以前のような選択をリードするスペースを除去しました。

これまでの回答すべてに感謝します。 私はSinan'sを受け入れるでしょう。なぜならそれは私たちのために働いたからです。