スパーク2.1.1 with property spark.akka.threads = 12

Question

私はApache Spark 2.1.1とSpark JobServer Spark 2.0 Previewを使用しています。

私はそこに設定プロパティがspark.akka.threads = 12があるが、Spark 2.1.1 Configurationのドキュメントで、このパラメータが存在しないことを、私はスパーク1.2でそれを発見したスパークUI環境]タブで見ています。 1コンフィグレーションであり、デフォルトでは以下のような記述があります。

通信に使用するアクタースレッドの数。ドライバが大量のCPUコアを持っている場合に大きなクラスタを増やすと便利です。

私はマスターとワーカーを含む単一のマシンでスパークスタンドアロンを使用しています。私はそれが8より大きい

私の質問すべきではないと言うの推薦(here)発見したことについての情報を検索

：

私は、このプロパティを設定していないよ場合は、ジョブサーバの設定ですそれ？はいの場合、このプロパティがsparkの公式ドキュメントに表示されなくなったのはなぜですか？

小さなクラスタ化されていないスパークスタンドアロンでこの高いパラメータが発生する原因は何ですか？

Answer 1

Spark 1.6と2.xはAkkaを使用していないため、ドキュメントに記載されていないため、設定できません。スパークユーザアプリケーションの多くは、アッカを使用して（または使用したい）されている

：詳細については、そのタスクのJIRAのthis Jiraとthis commit

説明を参照してください。 Akka 全体が素晴らしい建築上の単純さと の一貫性に貢献することができます。ただし、SparkはAkkaに依存しているため、 は異なるバージョンを使用することはできません。この特定の問題については、過去に多くの リクエストが届きました。 の例では、Akka メッセージの受信者としてSpark Streamingを使用することができますが、Akkaに依存するには、上流のAkka アクターにも同じバージョンのAkkaを使用する必要があります。

私たちのAkkaの使用は（主にRPCとシングルスレッドの イベントループのために）制限されているので、代わりのRPC実装 とそれをSparkの共通イベントループに置き換えることができます。

アッカは、それが網状

も参照してください使用、スパークRPCに置き換えられました：Why Spark 1.6 does not use Akka? - 非常によく似た答えが、しかし、質問が使用されていない理由を、そうでない場合は、

を使用しているあなたはこれを持って、より直接的ましたプロパティを設定するか、--confで設定します。設定ファイル内にある、または--confで設定されたすべての設定プロパティは、Spark UIに一覧表示されます