2016-07-12 6 views
0

eclipseでWordCountを実行すると、この問題が発生します。mapreduce issue in eclipse

log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell). 
log4j:WARN Please initialize the log4j system properly. 
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. 
Exception in thread "main" java.lang.NullPointerException 
    at java.lang.ProcessBuilder.start(Unknown Source) 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:482) 
    at org.apache.hadoop.util.Shell.run(Shell.java:455) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715) 
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:808) 
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:791) 
    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:656) 
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:444) 
    at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:293) 
    at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:133) 
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:145) 
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1297) 
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1294) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Unknown Source) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1656) 
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1294) 
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1315) 
    at WordCount.main(WordCount.java:81) 

問題の可能性のあるアイデアはありますか?

+0

あなたは、Eclipse内からクラスタにこのジョブを起動しようとしていますか? –

+0

いいえ、ちょうど小さなデータセットを使ってeclipseで任意のMRプログラムを実行したい。 –

答えて

0

winutilsファイルを$HADOOP_HOME/binフォルダに追加する必要があります。

+0

OPがWindowsを使用していることをどのように知っていますか? –

+0

私はWindows 7上でlocal eclipse envをビルドしていたときに同じエラーが発生しました。 –

0

Linuxマシン上でeclipseでプログラムを実行するには、hadoop-version/share/hadoopフォルダから少数のjarファイルを追加する必要があります。

Hadoop common 1.2.1 jar 

上記のjarファイルは別途ダウンロードする必要があります。完全な手順を知るには、以下のブログのリンクに従ってください。

https://acadgild.com/blog/running-mapreduce-in-local-mode-2/