2016-06-17 6 views
0

キーワード、入力パス、出力パスの3つのコマンドライン引数を取るMapReduceジョブを作成しました。キーワードが入力ファイルに現れる回数を数え、それを出力します。私は入力としてキーワードを取るウェブページ(多分Apache Tomcatを使用して)を作成したいと思う。送信をクリックすると、MapReduceジョブが起動され、Webページ自体に結果が出力されます。これはどのように可能ですか? 私は、以下のリンク上のすべての答えを試してみましたが、サンプル動作するコードを提供してください可能であるならば、それらはリンクMapReduce Webページでのジョブ

  1. Run MapReduce Job from a web application

  2. Calling a mapreduce job from a simple java program

を動作しません。それは本当に参考になる

編集:私は問題がこのenter image description here

+2

は、上記のリンクについて何を動作しませんか?彼らはあなたに必要なものすべてを与えるようです。 MR作業を書いた場合、コードの多くはあなたによく知られているはずです。 –

+1

現在、MapReduceジョブを呼び出す方法は?hadoop jarを使用していますか?指定したリンクにより、ジョブの呼び出しは許可されますが、出力ファイルは表示されません。マスター上でWebサーバーをどこで実行するのですか? 「私は以下のリンクですべての答えを試したが、うまくいかない」 - あなたはどこにいるのですか? – Jedi

+0

私は2番目のリンクの2番目の答えでソリューションをコーディングしました。 Webページが作成され、submitをクリックすると、リソースファイル/ CallJobFromServletが見つからないことが示されました。いくつか調整をした後、ブラウザにソースコードCallJobFromServletを表示し始めました。 Thomasの最初の答えは、すべてのMapReduceジョブ用に書かれた簡単な主な機能です。私は彼がウェブサーバーとリンクしているところがわかりません –

答えて

0

まあMapReduceのジョブが基本的にバッチ処理とバッチ、バックグラウンドで実行されるプロセスとインタラクティブないために設計されている第二リンクで2番目のソリューションを試してみました ましたこの場合、あなたは望みます。しかし、あなたはドライバプログラム ブール成功= job.waitForCompletion(真) にこれは、MapReduceのジョブを起動する仕事を初期化するためのJavaを

  1. 使用していることができればとMapReduceのジョブまで待つことになるがいくつかあります終了です。この時点で、出力ディレクトリから結果を収集できます。

  2. mapreduceジョブを開始した後、出力ディレクトリをhdfsにプールすることができます。 mapreduceジョブが終了すると、_SUCCESSという単一のファイルが出力ディレクトリのルートに作成されます。このファイルがhdfsの出力ディレクトリに現れるまで待機します。これはジョブが終了したことを示します。悲惨な出力内のすべてのファイルを読み込み、Webページ上のプロセスと結果を示すが

Shahzadは

関連する問題