Azure HDInsightでのデータ配信の処理方法

Question

Hadoopのセールスポイントの1つは、データが計算されていることです。それはWASBとどのように機能しますか？ MapReduceジョブを処理するときに、データのブロックが存在する場所でマップおよび縮小タスクが実行されます。このようにして、データの局所性が達成される。 HDInsightの場合、データはwasbに保存されます。 MapReduceを実行すると、データがwasbから計算ノードのそれぞれにコピーされ、処理が進められますか？その場合、計算ノードにデータをコピーする単一のチャネルがボトルネックになります。

どのようにデータがwasbに格納され、どのように処理中にデータが処理されるのか説明できますか？

Answer 1

Hadoopシステムの場合と同様に、データは計算時間（ジョブが実行されるとき）に個々のノードのメモリにロードされます。 WASBとの違いは、データがローカルディスクではなくAzureストレージアカウントからロードされることです。 Azureデータセンターのバックボーンの構築方法を考えると、パフォーマンスは一般にVMにローカルに接続されたディスクと同じです。

Answer 2

HDInsightクラスタは、Azureの任意の地域にあります。クラスタの読み込みが可能なストレージアカウントは、高いレイテンシを回避するために同じリージョンからのみ作成できます。 Azureはデータセンターで多くの作業を行い、パフォーマンスは同等です。あなたが詳細を知りたい場合は

、アシシュの引用は、この記事から来ている： https://blogs.msdn.microsoft.com/cindygross/2015/02/04/understanding-wasb-and-hadoop-storage-in-azure/