SparkをHDFSで使用する場合、どのようにHDFSを設定すればよいですか？

Question

1. セットスパークドライバノードHDFSスレーブノードとしてHDFSマスタノードとスパークワーカーノードとして。

又は

使用のみスパーク作業者は、HDFSクラスタをセットアップするノード。私は別々の部品であるが、ノードの制限された数が与えられたときスパークでのテストアプリケーションのパフォーマンスの好適な方法が存在することができるHDFSスパークを知っている：HDFSマスタノードは、それらのワーカーノード

PSに含まれています？したがって、本質的に、SparkドライバノードのI/Oコストを避けるべきですか？最初のオプションは、より理にかなっているように、

Answer 1

HDFSクラスタは、ドライバのノードからアクセスできる必要があります。

パフォーマンステストの設定は、主に予想されるアプリケーションの作業負荷、ノードで使用可能なメモリおよびその他のパラメータによって決まりますが、ドライバで実行されているアプリケーションの部分がヒーブ処理を行わない場合は、そこにノード。