豚のAvroStorageでカンマで区切ったリスト

Question

カンマで区切ったリストを使って、PigのAvroStorageでいくつかのファイルを読み込もうとしました。私が使用した記述は：

test_data= LOAD 'repo_1/part-r-00000.avro,repo_2/part-r-00000.avro' USING org.apache.pig.piggybank.storage.avro.AvroStorage(); 

ジョブで指定された入力パスがありません。以下のスタックトレースをご覧ください。 私はブタのversion0.8.1-cdh3u2と0.9.1を試しました。

誰も同じ行動を観察していますか？バグか機能ですか？

スタックトレース：

rg.apache.pig.backend.executionengine.ExecException: ERROR 2118: No input paths specified in job 
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:282) 
    at org.apache.hadoop.mapred.JobClient.writeNewSplits(JobClient.java:885) 
    at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:779) 
    at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:730) 
    at org.apache.hadoop.mapred.jobcontrol.Job.submit(Job.java:378) 
    at org.apache.hadoop.mapred.jobcontrol.JobControl.startReadyJobs(JobControl.java:247) 
    at org.apache.hadoop.mapred.jobcontrol.JobControl.run(JobControl.java:279) 
    at java.lang.Thread.run(Thread.java:679) 
Caused by: java.io.IOException: No input paths specified in job 
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:186) 
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:241) 
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:270) 
    ... 7 more 

Answer 1

これらの一部のファイルは豚によって自動的にロードされているので、あなただけのディレクトリを指定する必要があります。

test_file1 = LOAD 'repo_1' using AvroStorage(); 
test_file2 = LOAD 'repo_2' using AvroStorage(); 
test_file = UNION test_file1, test_file2; 

をお試しください