Spark2が1つのノードでのみ動作するのはなぜですか？

Question

私はZeppelinからSpark2を実行しています（HDP 2.6では0.7）、私は何時間も後にクラッシュするidf変換を行っています。これは、マスタと3つのデータノードs1、s2、s3を持つクラスタ上で実行されます。すべてのノードにSpark2クライアントがあり、それぞれに8つのコアと16GBのRAMがあります。

私はただ1つのノードs3で5つのエグゼキュータを実行していることに気付きました。 zeppelin-env.shで

Iは12グラム〜32とzeppelin.executor.memからzeppelin.executor.instancesを設定して、それがラインを有する：

export MASTER=yarn-client 

Iがorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairSchedulerからyarn.resourcemanager.scheduler.classを設定しています。

また、Spark2インタープリタでspark.executor.instancesを32に設定しました。

他のノードが自分のシェアを獲得しようとすることができますか？

Answer 1

答えは私がばかだからです。 S3だけがdatanodeとnodemanagerをインストールしました。うまくいけば、これは誰かを助けるかもしれない。