mapreduce

0熱

1答えて

Hadoop Mapreduce、map reduce出力でマッパーに入力されたtxtファイルを書き直すにはどうすればよいですか？

k-meansアルゴリズムを実行するmap reduceプログラムを作成しようとしています。私はmap reduceを使うのが反復アルゴリズムを実行する最善の方法ではないことを知っています。私はマッパークラスとレデューサークラスを作成しました。マッパーコードで入力ファイルを読みました。 map reduceが完了したら、結果を同じ入力ファイルに保存します。どのように出力ファイルをマッパーから入

0熱

1答えて

CACHE_THROUGHでalluxioにデータを書き込むことができません

map reduceを使用してalluxioにデータを書き込もうとしています。私は、alluxio.Itに書いているhdfsに関するデータを約11ギガバイト持っています。これは、MUST_CACHE書込みタイプ（alluxio.user.file.writetype.defaultのデフォルト値）でうまく動作しています。しかし、私はそれが次の例外で失敗している、CACHE_THROUGHを使用し

3熱

1答えて

MongoDBは180レベルの入れ子を超えているため文書を挿入できません

私はMongoDBを初めて使いました。本当にありがとうございます。 MongoDBのJavaドライバ3.4.2を使ってmap/reduceを実行しようとしています。は、私はそのようなこの1などの文書を持っているコレクションcollectionAを持っている：私はMyArrayというのすべての組み合わせを取得したいと思い { "_id" : ObjectId("5a29a6757c5de

0熱

1答えて

YARNがコンテナを殺すと検出する

私はJavaでMR2ジョブを持っています。コンテナ内のコンテナキルを検出して処理することは可能ですか？私は Runtime.getRuntime().addShutdownHook(new Hooker(this)); ようなコードを使用しようとしたが、フッカークラスのインスタンスからのログは見つからなかったがありました。このコンテナのJavaヒープダンプを取得することは可能でしょうか？

2熱

2答えて

削減機能は、最終的な出力

私はMapReduceのコードから奇妙な出力を取得していますに影響を与えません。入力： aa bb aa cc bb aa cc dd dd bb xx aa ss rr 出力： aa [email protected] aa [email protected] aa [email protected] aa [email protected] bb [email pro

0熱

1答えて

Hadoop MapReduceベースのWeb Javaクローラ

MapReduceアーキテクチャを使用してHadoopフレームワークに基づくJavaクローラを実装し、HBaseにコンテンツを挿入したいと考えています。私はこの2つのチュートリアルを結合しよう： Basic web crawler example MapReduce tutorial しかし、私は概念を理解することはできません。ページからリンクを抽出するロジックを置く場所はどこですか？マッパーの

0熱

1答えて

スパーク（pyspark）方法3要素

のタプルの唯一の2要素にreduceByKeyする私は[（ '成功'、 ''、1）、（」こののように見えるマップの結果を持っています'something_random'、1）] （ 'エラー'、 'エラー'、 'something_random'、1）、（ 'エラー'、 'something_random'、1）としてendupへの鍵で減らすとそこの方法です： [（ '成功'、2）、（ 'エラ

0熱

1答えて

各マッパーが実行するタスク

私は複数の結合を持つSQLを持っています。 2017-12-28 05:15:53,140 Map 1: 15/15 Map 6: 9/9 Map 7: 29/29 Map 8: 198(+2)/200 Map 9: 1/1 Reducer 2: 1/1 Reducer 3: 0(+1)/1 Reducer 4: 0(+3)/3 Reducer 5: 0(+11)/11 上記は、過去数時間にわ

0熱

1答えて

のMapReduceとHDFSブロックサイズ

私が読んで：あなたは内のノードよりも少ない数が少なすぎるタスクを（持っている場合のMapReduceで地図タスクは、通常その、一度に一つのブロックを操作しますクラスタ）、あなたのジョブはそうでない場合よりも遅く実行されますこの文は、HDFSブロックサイズについての段落にありますが、その意味を理解していません。私を助けることができますか？

0熱

1答えて

私はNoSuchMethodErrorを修正するにはどうすればよい：私はhadoop.Iにプロジェクトを1D文字列array.its名は「言葉」.I</p> <p>がしたいですしている書いているorg.apache.hadoop.mapred.InputSplit.write

減速機に送信するが、私はこのエラーが表示されます： Exception in thread "main" java.lang.NoSuchMethodError:org.apache.hadoop.mapred .InputSplit.write(Ljava/io/DataOutput;)V どうすればよいですか？誰でも手伝ってもらえますか？これは私のマッパーである：私はhadoopmap