マップからグループ化されたデータを処理するReduceメソッド。しかし、私はどのようにタスクを減らすのがグループデータを取るのだろうか?マップが多くのグループ化されたデータを出力する場合は、タスクを減らすたびに同じ数のグループを読み込みますか?メカニズムは何ですか?hadoop reduce tasksでマップされたデータをマップする方法
0
A
答えて
0
どのようにタスクがグループデータを取るのですか?
それはシャッフルで処理され、ソートマッパーによって送信されるこのphasedDataの間に相
が、最終的にはそれが取得し、キー、一覧<>結果((キー)によってグループなど)のキーごとにグループ化されます。結果はレデューサーに送られます。結果が異なるレデューサーに送信される必要がある場合、シャッフルとソートフェーズとは異なるフェーズのパーティションフェーズが処理されます。
このフェーズは、Hadoopフレームワークによって実行され、私が知っている限り、あなたはこのフェーズについて何も変更する必要はありません。また
私はこの質問What is the purpose of shuffling and sorting phase in the reducer in Map Reduce Programming?
を見てみましょう示唆関連する問題
- 1. Hadoop Map/Reduce対組み込みマップ/ Reduce
- 2. HadoopマップReduce - HDFSファイルを読み込む - FileAlreadyExistsエラー
- 3. ElasticsearchのネストされたTwitterデータ(json)をマップ/インデックスする方法
- 4. マップされたデータをキャッシュする方法
- 5. Googleマップで渡されたGoogleマップURLの場所を検出する方法
- 6. JS Promise:マップされたデータを返す
- 7. マップF#エージェントでReduceを実行
- 8. マップ(Hadoop)の入力テキストを分割する方法は?
- 9. gtkウィンドウをデータにマップする方法
- 10. エージェントセットでマップする方法は?
- 11. Googleマップのマーカー保存されたデータ
- 12. Java 8ストリーム:マップされた値でマップするリスト
- 13. マップされたイベントスロー
- 14. RailsマップされたフィールドのIDをドロップダウンリストに入れる方法
- 15. 別のネストされたマップを含むマップを逆転する
- 16. 分割されたStringをクラスにマップする方法は?
- 17. React.jsにネストされた配列をマップする方法は?
- 18. ネストされたマップ値を取得する方法
- 19. アイテムリストの列をグループ化されたカテゴリにマップする方法
- 20. ネストされたXMLフィールドをCSVにマップする方法は?
- 21. spark/scalaでマップを保持するデータセットをマップする方法
- 22. 列挙されたデータをSQL /マップされたステータスコードで翻訳する
- 23. ネストされたマップを一般的な方法で参照する方法
- 24. groovyでソートされたマップ
- 25. 火花マップでelseを使用するreduce
- 26. Googleマップapi v3を使用してマップ内で分割されたコード化ポリラインを使用する方法
- 27. マップに裏打ちされたセットを作る方法は?
- 28. ジャクソン - シリアル化されたマップを置き換える方法
- 29. mongoDBのフィールドがハイフネーションされたマップ関数を返す方法
- 30. マップされた配列をPageMethodsに渡す方法は?