質問があります。私はスタンドアロンのスパーククラスタを立ち上げたアプリケーションチームと一緒に作業しています。彼らの仕事のために可能な限りクラスタを実行可能にするための目安になるべきパラメータやものを設定する必要がありますか？Apache Sparkスタンドアロンクラスタチューニングパラメータ
私はこれが広いと理解していて、ここではパラメータはhttps://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.SparkConfですが、そのような基本的なパラメータセットがあるのではないかと疑問に思っています。
あなたがアプリケーションチームで働いているとお伝えしましたように、私は複数のアプリケーション間でスパーククラスタを共有していると思います。
スタンドアロンクラスタは、デフォルトで利用可能なすべてのエグゼキュータを利用して動作します。
制御リソースの割り当ては、エグゼキュータのメモリサイズを設定します。 spake-submitを使用している場合は、--executor-memoryフラグでサイズを設定してください。総コアの最大数を--total-executor-coresフラグで設定します。その他は、クライアントまたはクラスタがデプロイされているかどうかに関係なく、デプロイモードですデフォルトではクライアントです。 --deploy-mode clusterを使用してクラスタに設定する
要求メモリがクラスタで使用可能になっている必要があります。それ以外の場合は、スタンドアロンクラスタでアプリケーションのエグゼキュータを実行できません。