hadoop-streaming

2熱

1答えて

hadoopクラスタ：マップタスクは1台のマシンでのみ実行され、すべてではありません

私はhadoop cluster of three machinesを持っていますが、1台のマシンがマスターとスレーブの両方で動作します。 wordcount-exampleを実行すると、worker1とworker2の2つのマシンでマップタスクが実行されます。 私自身のコードを実行すると、1台のマシンでしか実行されません - worker1、すべてのマシンでマップタスクを実行するにはどうしたらい

python hadoop mapreduce hadoop-streaming 2011-10-25

---

1熱

1答えて

Hadoopストリーミングの問題

Hadoop Streamingの使用中にこれらの問題が発生しました。私はHadoopのストリーミングドキュメント（http://hadoop.apache.org/common/docs/r0.20.0/streaming.html#Working+with+the+Hadoop+Aggregate+Package+%28the+-reduce+aggregate+option%29）によるPy

hadoop hadoop-streaming 2011-08-03

---

5熱

1答えて

Pythonのストリーミング：？複数の出力を低減するための方法（Javaのとその可能性が）

私はHadoop in Actionを読み、JavaにMultipleOutputFormatとMultipleOutputsクラスを使用していることを見つけ、我々は複数のファイルにデータを減らすことができますが、どのように私はわからないことですPython streamingを使って同じことを達成してください。例えば ：誰もが知っている場合 /out1/part-0000 mapper

python hadoop mapreduce hadoop-streaming 2011-09-29

---