どれがベストですか：5台のマシンを持つ物理システム上のApache Ambariクラスタまたは5台の異なるVMを持つ仮想マシンにインストールしますか？

Question

こんにちは私は私が5台のマシンのVMを作成し、それが開発環境で正常に動作している私のプロジェクトの1つに取り組んでいますが、私はいくつかの混乱VMのクラスターに関する良いまたは物理的なシステムクラスターに行く必要があります。

Answer 1

Hadoopは物理システム向けに開発されましたが、仮想環境でさまざまなレベルの成功を収めて機能するため、特定の環境によって異なります。

これは実際にはhadoopメーリングリストに関するよくある質問であり、Hadoop Wikiの記事のHadoop開発者によって具体的に対処されました：Virtual Hadoop。この記事では、それぞれの長所と短所について説明し、クラウドの展開についても説明します。この記事を読んで、どの配備シナリオに該当するのかを見て、VMセットアップに潜在する可能性のある問題を評価してください。

Answer 2

仮想マシンをHDFS用に使用する場合は、複製に注意してください。デフォルトでは、HDFSはすべてのデータを64MBのチャンクに格納し、すべてのチャンクを3つの異なるノードに複製します。また、少なくとも1つのレプリカを別の物理ラックに配置する必要があります。「ラック認識」を参照してください。仮想化されたデータの3つのレプリカがすべて1つの物理ホスト/ HDD上にある場合、ハードウェアに障害が発生した場合に問題が発生する可能性があります。

I/Oパフォーマンスの可能性もあります。 VM用にファイルベースのディスクイメージを使用していて、直接ディスクアクセスではない場合は、I/Oオーバーヘッドがかなり大きくなる可能性があります。また、多くの場合、仮想マシンは物理ホスト上のファイルシステムキャッシュを利用できません。

一方、VMの管理とプロビジョニングが容易になるはずです。

それ以外の場合は、https://stackoverflow.com/a/44355754/1421254回答を参照してください。