スパークジョブサーバのマルチスレッド化とダイナミックアロケーション

Question

私はSpark Job Serverからかなり大きな期待をしていましたが、それは非常にドキュメントの不足を発見しました。あなたは次の質問の1 /すべてをお答えくださいでし

：

1. は仕事Serverがスパークセッションを介してジョブを送信スパークしていますか？
2. Spark Job Serverと並行していくつかのジョブを実行することは可能ですか？I saw people faced some troubles、私はまだ解決策を見ていません。
3. 異なるCPU、コア、エグゼキュータのconfigsと並列に実行するジョブはほとんどありませんか？まだSparkSessionをサポートしていないジョブサーバ

Answer 1

1. スパーク。私たちはそれに取り組んでいきます。
2. 複数のコンテキストを作成することも、コンテキストを実行してFAIRスケジューラを使用することもできます。
3. 異なるリソース設定で異なるコンテキストを使用します。

基本的にジョブサーバーは、スパークコンテキストを作成するためのAPIです。だからあなたは火花の文脈でできることをすることができるはずです。