Apache spark - あなたが間違ってプロパティを綴じるとどうなりますか？

Question

Apache sparkのデフォルトプロパティを変更しています。 AWSでEMRを使用してクラスターを回転させます。しかし、私はプロパティを設定しており、新しい設定がデフォルトの設定に置き換わるかどうかを確認する方法が不明です。

例として、Sparkでデフォルトのシリアル化を変更したいとします。したがって、私はクラスタを作成するときに以下の構成を提供します。

"分類"： "火花デフォルト"、 "プロパティ"：{
"spark.serializer"： "org.apache.spark.serializer：KryoSerializer"

Iは、次にチェック点火特性ポート4040またはYARNメソッドでSpark UK経由で、私はそこにプロパティが設定されているのを見ます。ただし、Sparkがこのプロパティを使用しているかどうかは不明です。確認する方法はありますか？

私はかつて "spark.serializer"をミスペルトしていましたが、まだプロパティセットを見ました。私は、不明な不動産が設定しようとしていることを示すエラーがスローされたことを見てみたいと思います。

Answer 1

プロパティ名の綴りを間違えた場合は既にテストされているため、受け入れられますが使用されません。可能なプロパティのリストは開いているので、ユーザーは独自のプロパティを設定でき、使用されていない可能性があるプロパティのエラーはオプションではありません。