ハイブクエリを使用したデータ解析

Question

私はAzureデータファクトリを介してパイプラインを構築しています。入力データセットは列区切り文字付きのcsvファイルで、出力データセットはcsvファイル列区切り文字です。パイプラインは拡張子.hqlを持つファイルのハイブクエリを通じてHDinsightアクティビティで設計されています。以下は

set hive.exec.dynamic.partition.mode=nonstrict; 

DROP TABLE IF EXISTS Table1; 
CREATE EXTERNAL TABLE Table1 (
    Number string, 
    Name string, 
    Address string 
) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n' 
STORED AS TEXTFILE 
LOCATION '/your/folder/location' 

SELECT * FROM Table1; 

を次のようにハイブクエリがあるファイル形式私はデータが出力データセット内のデータと列ヘッダを解析する方法

Number,Name,Address 
1,xyz,No 152,Chennai 
2,abc,7th street,Chennai 
3,wer,Chennai,Tamil Nadu 

のですか？

Answer 1

あなたの質問はcsvファイルに関連しています。 csvファイルはテーブルの場所に置いてあり、ヘッダーで構成されています。私の理解が正しいなら、テーブルddlの下のプロパティを試してみてください。これがあなたに役立つことを願っています。

tblproperties ("skip.header.line.count"="1"); 

おかげで、 マヌー