csvファイルからヘッダーと空白行を削除する

Question

私はcsvファイルの束を他のシステムから毎日のフィードの形で提供しています。

ファイルをHDFS上にロードし、その上に外部テーブルを作成する前に、ヘッダといくつかのオプションとして空白行をファイルから削除する必要があります。

現在、私はHDFS

//remove blank lines 
sed -i '/^\s*$/d' file_20160802.csv 

//remove header 
sed -i 1d file_20160802.csv 

//put file on HDFS 
hdfs dfs -put file_20160802.csv /raw/abc/20160802/ 

上のファイルを置く前に、ヘッダーと空白を削除するために働く2つの段階のプロセスは、私はすべての一時ファイルを作成せずに2つのステップを組み合わせることができます方法はありますか？

Answer 1

あなたはこのように組み合わせることができます。

sed -i '1d; /^\s*$/d' file 

Answer 2

sed -ni.bak '1!{/^$/!p}' file.csv 

もfile.csv.bakでジョブとバックアップが作成されます行う必要があります。

この話は何ですか？ライン1 !を除く

• 1!プロセスは、次のコマンドは否定です。
• /^$/は空の行をチェックします。
• !p上記のパターンチェックに続く行は、否定（!）のために空でない場合に行を印刷します。
• -iまたはインプレース編集オプションでは、変更がファイルに直接反映されます。