bashでは、行末にあるときを除いて、csvファイル内の改行を置き換えます。

Question

私は巨大なcsvファイルを持っています。約500Mbです。フィールドセパレータはパイプのchar（|）です。いくつかの行に改​​行と改行が含まれています。私はそれらを削除する必要がありますが、私は各行の最後に正当な改行を削除したくありません。私は他の質問に示されているようにsedとtrで試しましたが、私はすべての改行を削除してしまいます。これは私が望むものではありません。

サンプル入力（||はいラインは前の行に結合されなければならない）：

21/06/2016 18:06:32|||||||||||||||||||32 Red|Jrup Vej 6|61069849 
||Yes||vals 
21/06/2016 18:06:32|||||||||||||||||||101 K|Ser Bevard 110|||No| 

マイ試み：任意の助けを

sed -i 's/\r\n//g' myfile.csv 

tr -d '\r' < myfile.csv 

おかげで、ジョー

Answer 1

A csvデータは通常、固定数の列を持ちます。

あなたのケースでは、完全なレコードが25列あるようです。それに基づいて、このawkコマンドを使用して壊れたレコードを結合することができます：

awk -F '|' 'NF < 25 {getline s; $0 = $0 s} 1' file 

21/06/2016 18:06:32|||||||||||||||||||32 Red|Jrup Vej 6|61069849||Yes||vals 
21/06/2016 18:06:32|||||||||||||||||||101 K|Ser Bevard 110|||No|