寄木張りテーブルのtimestamp coulmnのsqoopインポートエラー

Question

SQL Serverテーブルを寄木張りテーブルにマッピングする際にエラーが発生しました。 SQL Serverテーブルと対応する列データ型を一致させるために寄木張りテーブルを作成しました。

しかし、sqoopはタイムスタンプの列を長く推測します。寄木張りテーブルにデータをロードする際に問題が発生します。寄木細工へのデータのロードは成功したようですが、フェッチが問題です。

エラーメッセージ：あなたはすでに掲載以下の質問を見てすることができます

hive> select updated_at from bkfs.address_par1; 
OK 
Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCastException: org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.hive.serde2.io.TimestampWritable 
Time taken: 0.146 seconds 

Answer 1

、

{Sqoop function '--map-column-hive' being ignored}

Answer 2

Sqoopの寄木細工のインポートはロングとして日付とタイムスタンプのOracleデータ型を解釈します。 Unixのepoc形式で日付を取得しようとしています。ですから、インポートは以下のように扱うことができます。

sqoop import \ 
--connect [connection string] \ 
--username [username] \ 
--password [password] \ 
--query "select to_char(date_col,'YYYY-MM-DD HH:mi:SS.SS') as date_col from test_table where \$CONDITIONS" \ 
--as-parquetfile \ 
-m 1 \ 
--delete-target-dir \ 
--target-dir /sample/dir/path/hive_table