2016-04-06 5 views
0

他のすべてのクエリをハイブで実行できますが、参加するときにはスタックしてしまいます。clouderaでのハイブクエリの問題

hive> select count (*) from tab10 join tab1; 
Warning: Map Join MAPJOIN[13][bigTable=tab10] in task 'Stage-2:MAPRED' is a cross product 
Query ID = root_20160406145959_b57642e0-7499-41a0-914c-0004774fe4ac 
Total jobs = 1 
Execution log at: /tmp/root/root_20160406145959_b57642e0-7499-41a0-914c-0004774fe4ac.log 
2016-04-06 03:00:03 Starting to launch local task to process map join; maximum memory = 2058354688 

2016-04-06 03:00:03 Dump the side-table for tag: 1 with group count: 1 into file: file:/tmp/root/b71aa45b-f356-4a54-a880-77e57cd53ed3/hive_2016-04-06_14-59-59_858_3722397802100174236-1/-local-10004/HashTable-Stage-2/MapJoin-mapfile01--.hashtable 
2016-04-06 03:00:03 Uploaded 1 File to: file:/tmp/root/b71aa45b-f356-4a54-a880-77e57cd53ed3/hive_2016-04-06_14-59-59_858_3722397802100174236-1/-local-10004/HashTable-Stage-2/MapJoin-mapfile01--.hashtable (280 bytes) 
2016-04-06 03:00:03 End of local task; Time Taken: 0.562 sec. 

この時点でハングしていて、マップ削減タスクがまったく生成されません。何が間違っていますか?

私はhive.logでこれを確認しました。

2016-04-06 15:00:00,124 INFO [main]: ql.Driver (Driver.java:launchTask(1643)) - Starting task [Stage-5:MAPREDLOCAL] in serial mode 
2016-04-06 15:00:00,125 INFO [main]: mr.MapredLocalTask (MapredLocalTask.java:executeInChildVM(159)) - Generating plan file file:/tmp/root/b71aa45b-f356-4a54-a880-77e57cd53ed3/hive_2016-04-06_14-59-59_858_3722397802100174236-1/-local-10006/plan.xml 
2016-04-06 15:00:00,233 INFO [main]: mr.MapredLocalTask (MapredLocalTask.java:executeInChildVM(288)) - Executing: /opt/cloudera/parcels/CDH-5.5.2-1.cdh5.5.2.p0.4/lib/hadoop/bin/hadoop jar /opt/cloudera/parcels/CDH-5.5.2-1.cdh5.5.2.p0.4/jars/hive-exec-1.1.0-cdh5.5.2.jar org.apache.hadoop.hive.ql.exec.mr.ExecDriver -localtask -plan file:/tmp/root/b71aa45b-f356-4a54-a880-77e57cd53ed3/hive_2016-04-06_14-59-59_858_3722397802100174236-1/-local-10006/plan.xml -jobconffile file:/tmp/root/b71aa45b-f356-4a54-a880-77e57cd53ed3/hive_2016-04-06_14-59-59_858_3722397802100174236-1/-local-10007/jobconf.xml 

これ以外に何もありません。誰でもこれを修正する方法を知っていますか?

+0

はあなたがクエリの例を投稿してくださいのHadoop JVMが使用するヒープメモリを増やす必要があり

<property> <name>mapred.child.java.opts</name> <value>-Xmx1024m</value> 

をクロス積エラーが発生しています。 – Jared

+0

[ハイブバージョン0.13.1でのパフォーマンスの問題]の可能な複製(http://stackoverflow.com/questions/27900760/performance-issue-in-hive-version-0-13-1) – Jared

答えて

0

オープンは-mapred site.xmlファイルとプロパティを追加:あなたは

関連する問題