0
私はSparkにはかなり新しく、私は糸クラスターモードでspark-submit.shを使わずに私のアプリケーションの中からSparkの仕事を始めようとしています。 Yarn ResourceManagerが実行中です。 私はspark-submit.shを使用していないときに、Yarn Resource Managerが実行されている場所をSparkはどのように知っていますか？
SparkConf sConf = new SparkConf().setMaster("yarn-cluster").set("spark.driver.memory", "10g");
を行わしかし、私が設定することはできませんよと、糸のResourceManagerの場所できました。どのように私はそれをやって行くかについての任意のアイデア？私は、アプリケーションと同じマシンでYarn RMが実行されないクラスタ化された設定をしています。スパークランチャーAPIへ
を探しています。しかしスパークAPIを設定するためにサポートしていますクラスパスも少し面倒ですが。しかし私が見つけることができなかったのは、糸のクラスターの場所を設定する方法でした。 HADOOP_CONF_DIR環境変数の設定は機能しますか？ – thisisshantzz
文書では、SparkはYARN ResourceManagerを 'HADOOP_CONF_DIR'または' YARN_CONF_DIR'（例えばyarn-site.xml）から知っていると述べています。 Spark docsの詳細 - [Spark on YARN]（http://spark.apache.org/docs/latest/running-on-yarn.html） –