2016-09-22 1 views
0

単純なDUMPを実行しようとすると、豚/ハープのエコシステムが新しくなり、不満足な問題が発生します。私は下の豚のスクリプト(ファイルはHFDSではなくローカルなので、pig -x localを使って豚の殻を開いています)を呼び出そうとしています。PIGローカルCSVを読み込めなくなってジョブが失敗する

Input(s): Failed to read data from "file:///bootcamp/test/events.csv" 
Output(s): Failed to produce result in "file/tmp/temp/305054006/tmp-908064458" 

豚スタックトレース:

ERROR 1066: Unable to open iterator for alias events. Backend error : java.lang.IllegalStateException: Job in state DEFINE instead of RUNNING 

org.apache.pig.impl.logicalLayer.FrontendException: ERROR 1066: Unable to open iterator for alias events. Backend error : java.lang.IllegalStateException: Job in state DEFINE instead of RUNNING 
at org.apache.pig.PigServer.openIterator(PigServer.java:925) 
at org.apache.pig.tools.grunt.GruntParser.processDump(GruntParser.java:746) 
at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:372) 
at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:230) 
at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:205) 
at org.apache.pig.tools.grunt.Grunt.run(Grunt.java:66) 
at org.apache.pig.Main.run(Main.java:558) 
at org.apache.pig.Main.main(Main.java:170) 
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
at java.lang.reflect.Method.invoke(Method.java:606) 
at org.apache.hadoop.util.RunJar.run(RunJar.java:221) 
at org.apache.hadoop.util.RunJar.main(RunJar.java:136) 
Caused by: org.apache.pig.backend.executionengine.ExecException: ERROR 0: java.lang.IllegalStateException: Job in state DEFINE instead of RUNNING 
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.getStats(MapReduceLauncher.java:822) 
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.launchPig(MapReduceLauncher.java:452) 
at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.launchPig(HExecutionEngine.java:280) 
at org.apache.pig.PigServer.launchPlan(PigServer.java:1390) 
at org.apache.pig.PigServer.executeCompiledLogicalPlan(PigServer.java:1375) 
at org.apache.pig.PigServer.storeEx(PigServer.java:1034) 
at org.apache.pig.PigServer.store(PigServer.java:997) 
at org.apache.pig.PigServer.openIterator(PigServer.java:910) 
... 13 more 
Caused by: java.lang.IllegalStateException: Job in state DEFINE instead of RUNNING 
at org.apache.hadoop.mapreduce.Job.ensureState(Job.java:294) 
at org.apache.hadoop.mapreduce.Job.getTaskReports(Job.java:540) 
at org.apache.pig.backend.hadoop.executionengine.shims.HadoopShims.getTaskReports(HadoopShims.java:235) 
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.getStats(MapReduceLauncher.java:801) 
...20 more 
これをやったときに

REGISTER utils.py USING jython AS utils; 
events = LOAD '../test/events.csv' USING PigStorage(',') AS (patientid:int, eventid:chararray, eventdesc:chararray, timestamp:chararray, value:float); 
events = FOREACH events GENERATE patientid, eventid, ToDate(timestamp, 'yyyy-MM-dd') AS etimestamp, value; 
DUMP events; 

はしかし、私は(一番下に以下の失敗したジョブ・サマリー、フルPIGスタックトレース)次のエラーメッセージが表示されます

私は失敗した仕事に関して同様の問題を見ましたが、残念ながら私はまだ解決策を見つけられませんでした。

編集:私は、以下のリンクのPIGチュートリアルに従うと、同じ問題が発生していることを言及する必要があります。だから、

http://www.sunlab.org/teaching/cse8803/fall2016/lab/hadoop-pig/

+0

回答を参照してください。誤ってコメントとして投稿されました。 – mongolol

答えて

0

、私は次の手順でファイル「ダンプ」することができましたが見つかりました:私はここで同様の問題を見て、そして実行することによって解決することができたていた

tmp = events 100000; --any int larger than number of rows 
dump tmp; 

をルートとして

関連する問題