Sqoopを使用したデータのインポート、タイムスタンプデータ型

Question

Sqoopを介してHiveテーブルにデータをインポートすることは可能ですか？Parquetとして保存し、以前にdecimalおよびtimestampデータ型で作成しましたか？

Answer 1

はい、SqoopからParquetとして保存されたHiveテーブルにインポートできます。

Sqoop has added Parquet Support

sqoop import \ 
--connect jdbc:mysql://the_mysql_server/the_mysql_database \ 
--username the_mysql_user --password the_mysql_password \ 
--table sourcetablename\ 
--hive-import –hive-table destinationtablename\ 
--as-parquetfile -m 1 

あなたはRDBMS

例えば

このパラメータを使用してからデータをインポートする際のデータ型をハイブにデータ型を変更したい場合は--map-column-hive col1=hivedatatype,col2=hivedatatype

sqoop import \ 
... 
... 
--map-column-hive id=STRING,price=DECIMAL