分割なしのSqoopインポート

Question

複合キーを主キーとして持つTeradataテーブルをインポートしようとしています。したがって、--num mapperを1に設定し、--split-byパラメータなしで実行してください。しかし、私は次の問題に取り組んでいます。助けてください。

Error: java.io.IOException: SQLException in nextKeyValue 
    at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277) 
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:556) 
    at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:80) 
    at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:91) 
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145) 
    at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64) 
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787) 
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) 
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:422) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1709) 
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162) 
Caused by: com.teradata.jdbc.jdbc_4.util.JDBCException: [Teradata Database] [TeraJDBC 14.00.00.01] [Error 3707] [SQLState 42000] Syntax error, expected something like a name or a Unicode delimited identifier between the word 'Record' and the 'Start' keyword. 
    at com.teradata.jdbc.jdbc_4.util.ErrorFactory.makeDatabaseSQLException(ErrorFactory.java:307) 
    at com.teradata.jdbc.jdbc_4.statemachine.ReceiveInitSubState.action(ReceiveInitSubState.java:102) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementReceiveState.subStateMachine(StatementReceiveState.java:298) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementReceiveState.action(StatementReceiveState.java:179) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementController.runBody(StatementController.java:120) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementController.run(StatementController.java:111) 
    at com.teradata.jdbc.jdbc_4.TDStatement.executeStatement(TDStatement.java:372) 
    at com.teradata.jdbc.jdbc_4.TDStatement.prepareRequest(TDStatement.java:541) 
    at com.teradata.jdbc.jdbc_4.TDPreparedStatement.<init>(TDPreparedStatement.java:96) 
    at com.teradata.jdbc.jdk6.JDK6_SQL_PreparedStatement.<init>(JDK6_SQL_PreparedStatement.java:21) 
    at com.teradata.jdbc.jdk6.JDK6_SQL_Connection.constructPreparedStatement(JDK6_SQL_Connection.java:76) 
    at com.teradata.jdbc.jdbc_4.TDSession.prepareStatement(TDSession.java:1491) 
    at org.apache.sqoop.mapreduce.db.DBRecordReader.executeQuery(DBRecordReader.java:101) 

Answer 1

NUMマッパー。

スプリットコラムは必ずしもPKと同じではありません。あなたは複雑なPKといくつかのint Splitカラムを持つことができます。コンポジットキーのカラムの1つを--split-byオプションとして使用してください。

--split-by ~~上記のオプションは、（のみ--split-by）が動作しない場合は、作業単位が

も--boundry-query + --split-byを試す分割するために使用されるテーブルの>カラム：

sqoop import \ 
    --connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" \ 
    --username=retail_dba \ 
    --password=cloudera \ 
    --table departments \ 
    --target-dir /user/cloudera/departments \ 
    -m 2 \ 
    --boundary-query "select 2, 8 from departments limit 1" \ 
    --split-by department_id 

をデフォルトのsqoopでは使用されますクエリselect min(<split-by>), max(<split-by>) from <table name>を使用して分割を作成するための境界を見つけます。場合によっては、このクエリが最適ではないため、--boundary-query引数を使用して2つの数値カラムを返す任意のクエリを指定できます。ここ

チェック詳細な説明：https://stackoverflow.com/a/37389134/2079249は

selecting_the_data_to_import

Answer 2

するのではなく、あなたのsqoopコマンドで -M1 を使用してみてください - あなたは関係なく、--num-mappers OR -mオプションの、--split-by OR --boundary-queryオプションを使用する必要があります。1.