大きなファイルをperlで読み込み、レコードごとに動的レコードセパレータを使用する

Question

大きなファイルを1行ずつ読み込むスクリプトがあります。私が使用したいレコードセパレータ（$/）は（\n）です。唯一の問題は、各行のデータにCRLF文字（\r\n）が含まれていることです。プログラムは行の終わりと見なすべきではありません。

例えば、ここで（書き出さ改行とのCRLFで）サンプル・データ・ファイルである：

line1contents\n 
line2contents\n 
line3\r\ncontents\n 
line4contents\n 

Iは$/ = "\n"を設定した場合、それは2行に第三の行を分割します。理想的には、ちょうど$/を\nと一致し、\r\nではない正規表現に設定できますが、それは可能ではないと思います。別の方法としては、ファイル全体を読み込み、split関数を使って正規表現を分割する方法があります。唯一の問題は、ファイルが大きすぎてメモリにロードできないことです。

提案がありますか？

Answer 1

、それが終わるあなたの行を確認し、必要に応じて次の行を追加するために非常に簡単に聞こえる：

$/ = "\n"; 
... 
while(<$input>) { 
    while(substr($_,-2) eq "\r\n") { 
     $_ .= <$input>; 
    } 
    ... 
} 

これは、異なるプログラミングコンテキストの数でline continuationをサポートするために使用されるのと同じロジックです。

$/を正規表現に設定することはできません。

Answer 2

最初にファイルにdos2unixを使用して、通常どおりに読み込みます。この特定のタスクのために

Answer 3

dos2unixはUNIXの改行文字を "\ r \ n"に置きますので、実際には問題は解決しません。私はスペースやタブ文字で "\ r \ n"のすべてのインスタンスを置き換え、その結果を別のファイルに保存する正規表現を使用します（その点で行を分割したくないため）。それから私はあなたのスクリプトを新しいファイルで実行します。