コードで糸クライアントをセットアップするには？

Question

自分のsparkアプリケーションを自分のhortonworksデータプラットフォームで実行したい。このセットアップのように、私は糸のクライアントとして走りたいと思うスタンドアロンのスパークマスターを持っていません。

は、私はこのようなSparkSessionを作成しようとしています：

SparkSession 
    .builder() 
    .master("yarn-client") 
    .appName("my-app") 
    .getOrCreate()) 

私は私の糸サーバーが実行されているスパーククライアントをできるようにいくつかのプロパティをしないのです知っているが、私はこれらのプロパティを見つけるように見えることはできません。

現在のところ、アプリケーションはエラーまたは例外なしでinitをハングアップします。

アイデアは何ですか？

Answer 1

Hortonworks HDPが他の場所にいる間にアプリをローカルで実行しようとしているようです。 ResourceManagerのアドレスは、Hadoopの構成からピックアップされたマスタのアドレス がYARNモードでは、--masterパラメータで指定されているスパークスタンドアローンとMesosモードとは異なり

。

あなたのアプリはHortonworks自体から実行される必要があります.Hortonworks自体はすべてのHadoop設定が適用されています。