0
スパークは、デフォルト構成を$SPARK_HOME/conf/spark-defaults.confから読み取ります。複数の構成ファイルからのスパーク負荷設定
を使用する場合は、--properties-file [FILE]コマンドライン引数を使用して、デフォルトの場所を変更することもできます。
私がしたいことは、デフォルトのファイルを置き換えずにファイルから追加の引数を読み込むことです。つまり、私はspark-defaults.confからプロパティを読み込み、別のファイルからより多くのプロパティを読み込むようにしたいと思います。さて、両方で定義されたプロパティがある場合、私は最後の設定ファイルが勝ったら好きです。
Sparkではこれがデフォルトでサポートされていますか？
意味があります、ありがとうございます！スパークシェルの場合は、実際にはあまり効果がありません。スパークコンテキストは既に開始時に作成されており、設定パラメータを変更してより多くのコアまたはエグゼキュータメモリを追加することはできません。このアプローチはスパーク送信アプリケーションでは機能しますが、スパークシェルでは機能しません。 – marios
私は「スパーク・シェルはあなたが本当に多くすることはできません」とは言いません。コミュニティが求めているほど多くのことをしています。変更が必要な場合は、チケットとプルの要求があります。それにもかかわらず、同じドキュメンテーションリンクに「* Sparkシェルとspark-submitツールは動的に設定をロードする2つの方法をサポートしています...」「これは 'spark-submit'とシェルが同じように設定されていることを意味します。 – Vidya