2017-02-25 8 views
0

ハイブでマルチキャラクタデリミタを処理しようとしています。java.lang.ClassNotFoundException:クラスorg.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDeがハイブに見つかりません

私はすでに同じに成功

create external table showtmp3(doc_name STRING,doc_content STRING) row format SERDE 'org.apache.hadoop.hive.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ('field.delim'='#a#') location '/unmesha/OUT'; 

でテーブルを作成した後、私は以下のようにクエリを発行する必要があります。

INSERT OVERWRITE DIRECTORY '/unmesha/OUT_tmpShowData' SELECT * showtmp3 limit 10; 

しかし、私はすべてのjarファイルをダウンロードして、いくつかの場所に置くべきで、それは私に

Error: java.lang.RuntimeException: Error in configuring object 
    at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109) 
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75) 
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133) 
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:449) 
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343) 
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:415) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671) 
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158) 
Caused by: java.lang.reflect.InvocationTargetException 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:601) 
    at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:106) 
    ... 9 more 
Caused by: java.lang.RuntimeException: Error in configuring object 
    at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109) 
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75) 
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133) 
    at org.apache.hadoop.mapred.MapRunner.configure(MapRunner.java:38) 
    ... 14 more 
Caused by: java.lang.reflect.InvocationTargetException 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:601) 
    at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:106) 
    ... 17 more 
Caused by: java.lang.RuntimeException: Map operator initialization failed 
    at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:153) 
    ... 22 more 
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe not found 
    at org.apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:323) 
    at org.apache.hadoop.hive.ql.exec.MapOperator.setChildren(MapOperator.java:333) 
    at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:122) 
    ... 22 more 
Caused by: java.lang.ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe not found 
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2018) 
    at org.apache.hadoop.hive.ql.plan.PartitionDesc.getDeserializer(PartitionDesc.java:136) 
    at org.apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:297) 
    ... 24 more 


FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 

以下のエラーを与えていますか?

これは、あなたが探しているものはおそらくです

+0

ハイブのバージョンは何ですか? 'MultiDelimitSerDe'はHive-0.14からのみ利用可能です。 – franklinsijo

+1

私はhive-0.14.0自体を使用しています –

答えて

1

を提案してください:http://grepcode.com/file/repo1.maven.org/maven2/org.apache.hive/hive-contrib/0.14.0/org/apache/hadoop/hive/contrib/serde2/MultiDelimitSerDe.java

あなたはMavenのリポジトリから元ダウンロードすることができます。https://mvnrepository.com/artifact/org.apache.hive/hive-contrib/0.14.0

は、このjarファイルをダウンロードし、あなたにそれを配置しますハイブ/libあなたのクラスタのすべてのノードのフォルダ。これで問題は解決するはずです

関連する問題