ハイブ外部表の行を削除

Question

ハイブ外部表にテキストファイルをロードしました。そのテキストファイルは、列を区別するための区切り文字が/です。また、さらにいくつかの列には、1つの列に改行文字があります。そのため、外部テーブルに格納されたデータに不一致があります。私の場合、ユニークキーはrow_idで、値は1_234です。 rowidは数値です。しかし、テキストファイルの改行文字のために、一部の行にはテキストがrow_idにあります。

ハイブでこれらの行を削除する方法はありますか、またはhdfsのテキストファイルで新しい行の文字を削除するにはどうすればよいですか？

Answer 1

Hiveに読み込む前に、データを消去するためのhadoop（ストリーミングはオプションです）ジョブを作成する必要があります。