spark-submit実行時にcore-site.xmlプロパティ値をオーバーライド

Question

spark submitを実行するときにコアサイトのプロパティ値を無効にする方法はありますか？

spark-env.shのHADOOP_CONF_DIR変数を使用して新しいコアサイトファイルを指すことができますが、スパークジョブごとに異なるストレージアカウントを使用するための値はほとんど変更しません。

Answer 1

私自身の質問に対する回答が見つかりました。

hadoop関連の設定は、「spark.hadoop」をプロパティキーにあらかじめ固定しておいてから、sparkconfに送信することで無効にすることができます。 https://github.com/apache/spark/commit/b6cf1348170951396a6a5d8a65fb670382304f5b

：

すなわち spark.hadoop.io.file.buffer.size 12952

ここ

参照のソースコードを--sparkconf火花提出