$ HADOOP_HOMEの外でJavaプログラム（HDFS JAVA APIを使用する）を実行する

Question

私は単純なJavaプログラムを使用して、テキストを読み込んでHDFS上のファイルに書き込みます。私はhadoop HDFSReadWriteテキストを使って実行します。

Eclipseから実行するか、他のJavaプログラムと同じように実行したいが、Hadoop環境の外でHDFSを使用できるようにする。それを行う方法はありますか？私はそれが本当に悪い必要があります。

Answer 1

私はEclipseでmapreduceジョブを実行することができました。それはHDFSプログラムと大きく異なるべきではありません。

• コマンドプロンプトからnamenodeとdatanodeを開始します。
• EclipseでJavaプロジェクトを作成します。
• 共通のhdfsファイルと必要なjarファイルを含めます。
• プロジェクトにHDFSReadWrite.javaファイルを含めます。
• 次のパラメータをJavaプログラムに渡します。 「 - コンフィグConfigurationDirectoryテキスト」
• はHDFSReadWrite
に

を実行する代わりにjarファイルを含む対応のEclipseプロジェクトがビルド・パスや目的をデバッグするために添付のsrc jarファイルに含めることができるファイル。

Javaプロジェクトを作成する代わりに、eclipseプラグイン・フォルダにhadoop-eclipse-plugin - *。jarファイルをコピーし、「Map/Reduce Project」を作成します。次に、必要なjarファイルが自動的にインクルードされます。

異なるコマンドのオプションは以下のURLに記載されている

http://hadoop.apache.org/common/docs/r0.21.0/commands_manual.html