コマンドラインからSparkの設定を確認する方法は？

Question

基本的には、コマンドラインで "spark.local.dir"などのSparkの設定のプロパティをチェックしたい、つまりプログラムを書くことなくチェックしたいと思います。これを行う方法はありますか？

Answer 1

コマンドラインからスパーク設定プロパティを表示するオプションはありません。

代わりに、spark-default.confファイルで確認できます。別のオプションは、WebUIから表示することです。

アプリケーションWeb UIのhttp://driverIP:4040には、「環境」タブのSparkプロパティがリストされています。 spark-defaults.conf、SparkConf、またはコマンドラインで明示的に指定された値のみが表示されます。他のすべての構成プロパティーについては、デフォルト値が使用されていると見なすことができます。詳細については

、あなたはSpark Configuration

Answer 2

http://spark.apache.org/docs/latest/configuration.htmlに基づく。スパークは、システムを構成するための3つの場所を提供する：

• スパーク特性は、ほとんどのアプリケーション・パラメータを制御し、SparkConfオブジェクトを使用して、またはJavaシステム・プロパティを介し 設定することができます。

• 環境変数を使用して、各 ノードのconf/spark-env.shスクリプトを使用して、マシンごとの設定（IPアドレスなど）を設定できます。

• ロギングはlog4j.propertiesで設定できます。

私はコマンドラインで方法について聞いたことがありません。