MapReduceを使用せずにJavaでHadoopファイルにアクセスできますか？

Question

MapReduce構造体はHadoopでプログラムする必要がありますか、単純なJARの任意の型も実行できますか？

JavaコードからHDFS内のファイルにアクセスしようとしています。

static{ 
    URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());  
} 

in = new URL("hdfs://cluster-server:54310/home/hduser/sort/inputs").openStream(); 
IOUtils.copyBytes(in, System.out, 2, false); 

しかし、私は、Eclipseからこのコードを実行すると、エラーになり：私が試した

Call to cluster-server/172.16.18.75:54310 failed on local exception: null

しかし、私はファイルは、コマンドラインインターフェイスを介してのHadoop HDFSクラスタ内に存在していることがわかります。

私を助けてください。前もって感謝します。

Answer 1

現在のバージョンのHadoop - MapReduceは、パラダイムのみがサポートされています。次のバージョンでは、それはライブラリーになり、並列処理の他のパラダイムがサポートされます。
今日、hadoopコマンドで任意のjarを実行することができますが、単にローカルをあなたのローカルで実行するだけです。
はい、MapReduceに接続せずにHDFSにアクセスできますが、一般的なJava IOではなく、Hadoopクラスを介して行う必要があります。

Answer 2

OPはJavaプログラムからプログラムでHDFSにアクセスしたいと思うだけです。その場合は、私はこのリンクは非常に有用であることが判明： - http://blog.rajeevsharma.in/2009/06/using-hdfs-in-java-0200.html

Answer 3

あなたがHDFS内のファイルにアクセスしたい場合は、Hadoopのの章3：Definitive Guideのは良いスタートです。 URLを使用して入力ストリームを開くと、HDFSで機能しないことがあります。