2017-08-27 8 views
1

hdfsからpigスクリプトを実行しようとしていますが、ファイルが存在しないためエラーが表示されます。HDFSから豚スクリプトを実行するには?

マイHDFSディレクトリ

[[email protected] ~]$ hdfs dfs -ls/
Found 11 items 
drwxrwxrwx - hdfs  supergroup   0 2016-08-10 14:35 /benchmarks 
drwxr-xr-x - hbase supergroup   0 2017-08-19 23:51 /hbase 
drwxr-xr-x - cloudera supergroup   0 2017-07-13 04:53 /home 
drwxr-xr-x - cloudera supergroup   0 2017-08-27 07:26 /input 
drwxr-xr-x - cloudera supergroup   0 2017-07-30 14:30 /output 
drwxr-xr-x - solr  solr    0 2016-08-10 14:37 /solr 
-rw-r--r-- 1 cloudera supergroup  273 2017-08-27 11:59 /success.pig 
-rw-r--r-- 1 cloudera supergroup  273 2017-08-27 12:04 /success.script 
drwxrwxrwt - hdfs  supergroup   0 2017-08-27 12:07 /tmp 
drwxr-xr-x - hdfs  supergroup   0 2016-09-28 09:00 /user 
drwxr-xr-x - hdfs  supergroup   0 2016-08-10 14:37 /var 

コマンドは、私が何をしないのです

[[email protected] ~]$ pig -x mapreduce /success.pig 

エラーメッセージ

log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell). 
log4j:WARN Please initialize the log4j system properly. 
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. 
2017-08-27 12:34:39,160 [main] INFO org.apache.pig.Main - Apache Pig version 0.12.0-cdh5.8.0 (rexported) compiled Jun 16 2016, 12:40:41 
2017-08-27 12:34:39,162 [main] INFO org.apache.pig.Main - Logging error messages to: /home/cloudera/pig_1503862479069.log 
2017-08-27 12:34:47,079 [main] ERROR org.apache.pig.Main - ERROR 2997: Encountered IOException. File /success.pig does not exist 
Details at logfile: /home/cloudera/pig_1503862479069.log 

を実行?

+0

スクリプトはローカルFSにする必要があります – philantrovert

+0

hdfsからスクリプトを実行する例があります。スクリプトがローカルFS上に存在する必要がある場合は、-x mapreduceの使用は何ですか。 –

+0

入出力データがHDFS上にあります。 – philantrovert

答えて

1

-f <script location>オプションとオプション値を使用して、HDFSパスにあるスクリプトを実行できます。しかし、スクリプトの場所は、次の構文と例で与えられている絶対パスである必要があります。

Syntax: 
pig -f <fs.defaultFS>/<script path in hdfs> 

Example: 
pig -f hdfs://Foton/user/root/script.pig 
関連する問題