私の理解によると、HDFSに格納されたファイルはブロックに分割され、各ブロックは複数のノードに複製されます。 Hadoopフレームワークは、特定のブロックが複製されるすべてのノードのうち、マップジョブを実行するノードをどのように選択しますか。Hadoopフレームワークがマップジョブを実行するノードを決定する方法
0
A
答えて
0
私が知っているように、ブロック量と同じ量のmap
タスクがあります。
マニュアルhereを参照してください。
通常、フレームワークはmap
タスクのネットワーク帯域幅を減らすために、入力ブロックに近いノードを選択します。
それはすべて私が知っている。
0
Mapreduce 1では、マップタスクの数がMR1で固定されているため、マップノード1ではレプリカをホストするデータノードで実行されているマップタスクの数によって異なります。 MR2には固定スロットがないため、そのノードですでに実行中のタスクの数によって異なります。
関連する問題
- 1. 複数のマップジョブを実行するHadoop -
- 2. ノウハウを知る方法。マップジョブで実行されているノードの数
- 3. Hadoop MapReduceがコンバイナを実行するときの決定的なソース
- 4. hadoopのノード数を設定する方法は?
- 5. Objective-C:実行時の実装を決定する方法
- 6. 特定のノードでスパークジョブを実行する方法
- 7. デスクトップアプリケーションプロジェクトのGUIフレームワークを決定する方法
- 8. Ruby実行環境を決定する方法
- 9. SystemCシミュレーションでイベント実行の順序を決定する方法
- 10. コードレポを見てノードのバージョンを決定する方法
- 11. Hadoopのjava.net.SocketExceptionが:ネットワーク名前ノードのノードに4ノードのHadoopクラスタでこのコマンドを実行
- 12. 実行時にSpringが決定する
- 13. Eclipseでhadoopソースコードの投機実行をオフにする方法
- 14. 実行中にorg.quartz.JobDetailを停止する時間を決定する方法は?
- 15. LANにノードを持つhadoopマルチノードクラスタをセットアップする方法
- 16. 実行時にOSを決定する
- 17. ノードから実行ファイルを実行する方法、ローカルで動作する
- 18. 実行中のHadoopクラスタにノードを追加する方法はありますか?
- 19. ファイルを開く/実行する方法をウィンドウで決定させますか?
- 20. IoCフレームワーク実装をデカップリングする方法
- 21. Hadoop Hadoop 3.0でCopyMergeを行う方法
- 22. iPhone 5 + iOS6がレターボックスモードでアプリケーションを実行する必要があるかどうかを決定する方法
- 23. JPAクエリを再生フレームワークで実行する方法
- 24. Lithoフレームワークでページ分割を実行する方法は?
- 25. iOSフレームワークのテスト対象をダミーアプリケーションで実行する方法は?
- 26. ホームステッドで実行されているLaravelプロジェクトを決定する方法
- 27. JavaでHadoop jarコマンドを実行する
- 28. 実行前の実行時にワークフロー引数を決定する
- 29. Cassandraのパーティションのノードを決定する
- 30. 複数の再試行後にマップジョブが失敗する理由をデバッグする方法