Sparkのコアあたりのスレッド数

Question

SparkのThreadsの使用について私に混乱を招くようなものを明確にしたいだけです。

は、誰かがスパークでのことを確認することができます：

1. 各コアが一つだけのスレッドを実行することができ

   または少なくともタスクスロットがに対応するつのコアと1つのコアのみ、決してスレッド。

2. ローカルモードの場合は例外です。使用可能なスレッドを使用して、クラスタモードで使用可能なタスクスロットをシミュレートします。スパークで

-M-

Answer 1

コアは、処理タスクに割り当てることができ、この意味はlocalと分散モードの間でそれほど変化していないスレッドです。実際のスパークで

は、以下を含むタスク処理以外の目的のために、より多数のスレッドを使用していますが、これらに限定されない：

• 処理ハートビート。
• スパークUI。
• ブロードキャスト。