sqoopを使用してハイブテーブル構造を定義する方法import-mainframe --create-hive-tableコマンド

Question

フラットなメインフレームファイルをインポートして、ハイブテーブルにロードしようとしています。 sqoop import-mainframeを使用してハイブテーブルにインポートして読み込むことができましたが、ファイル全体が1つのカラムに配置されていて、そのカラムにも名前がありません。

sqoopインポートコマンド自体にテーブル構造を定義する可能性はありますか？

我々は、メインフレームからインポートし、テーブルをハイブに

sqoop import-mainframe --connect mainframe.com --dataset mainframedataset --username xxxxx -P --hive-import --create-hive-table --hive-table table1 --warehouse-dir /warehouse/

サンプル・メインフレームのデータをロードするには、以下のコマンドを使用している：

ASWIN | 1234 | 1000.00
XXXX | 1235 | 200.00
YYYY | 1236 | 150.00

ハイブテーブルがsqoopによって生成されたスクリプトの作成：デフォルトSqoop docs 1として

CREATE TABLE Employee (DEFAULT_COLUMN STRING) COMMENT 'Imported by sqoop on 2016/08/26 02:12:04' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LINES TERMINATED BY '\012' STORED AS TEXTFILE

Answer 1

、

を、データセット内の各レコードは、終了時に改行のテキストレコードとして格納されます。各レコードは、名前がDEFAULT_COLUMNの単一のテキストフィールドを含むものとします。 SqoopがHDFSにデータをインポートすると、作成したテキストファイルを再解析できるJavaクラスが生成されます。

あなたのpsvファイルはHDFSにロードされます。

今table1（ハイブテーブル）を作成し、自分自身使用して -

CREATE TABLE table1 (Name string, Empid int,Amount float) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' LINES TERMINATED BY '\012' STORED AS TEXTFILE

を今すぐ--create-hive-tableタグなしでごsqoop importコマンドを実行します。それは動作するはずです。