WORDCOUNTジョブは、私は日食ルナ3.8でWORDCOUNT例を実行している代わりに、「糸」

Question

の「localjobrunner」上で実行されています。私の仕事はlocaljobrunner上でうまく動作していますが、hadoopログにアクセスしたいので、糸クラスター上で実行します。ジョブがローカルで実行されている場合は、リソースマネージャに送信されるまでログを作成しません。リソースマネージャーへのジョブの送信は、ジョブが糸で実行されている場合にのみ可能です。

私の作業環境：擬似として実行されている

のHadoop-2.6.0は、モードを配布します。

日食ルナ3.8。

ご協力いただければ幸いです。

Answer 1

、ドライバーでこれらの設定を追加します。今では、Mavenなどのjarファイルを持っているかもしれませんが、おそらくそれらの設定ファイルがない可能性があります。 eclipseで "Run as configuration"のクラスパスでこれらを設定することができます。私はこれらの設定ファイルを使ってローカルのhadoopをインストールし、hadoopコマンドを実行できると仮定します。その場合、クラスパスがそのインストールのconfディレクトリとlibディレクトリを指すことができます。面倒かもしれませんが、最初にconfディレクトリ（core-siteとyarn-siteを含んでいます）を指すだけで、それが機能するかどうか確認してください。そうでない場合は、ヤーンやマップリューデンスのローカル依存関係（Mavenなど）を除外し、インストールディレクトリから明示的に設定します。 hadoop1のためのクラスパスを設定するために、この記事をチェックしてください。 https://letsdobigdata.wordpress.com/2013/12/07/running-hadoop-mapreduce-application-from-eclipse-kepler/

ここであなたがhadoop2（糸）についても同様の手順を行うことができますが、基本的な考え方は、アプリケーションのランタイムですMAPRから別の記事（MAPRクライアント関連の設定を無視する） https://mapr.com/blog/basic-notes-on-configuring-eclipse-as-a-hadoop-development-environment-for-mapr/

ですクラスタに正しくデプロイできるように、クラスパス上の正しいjarファイルとconfigファイルを取得する必要があります。

Answer 2

はYARN特定の構成でジョブを初期化します。あなたは、あなたのクラスパスに正しく糸-site.xmlのコア-site.xmlのを必要とするだけでなく、すべての糸とMapReduceの瓶（依存関係）

Configuration conf = new Configuration(); 
conf.set("fs.defaultFS", "hdfs://localhost:8020"); 
conf.set("mapreduce.framework.name", "yarn"); 
conf.set("yarn.resourcemanager.address", "localhost:8032");