sparkで複数の集約ジョブを1つのデータフレームで並列に実行できますか？

Question

1つのRDDで複数の独立した集約ジョブを並列に実行する方法はありますか？最初の設定はPythonで、次にScalaとJavaです。

好みの順番でアクションのコースがある - スレッドプールを使用して

1. - 異なるスレッド上に異なる集計を行って異なる機能を実行します。私はこれを行う例は見ませんでした。

2. 糸にクラスタモードを使用し、異なるジャーを提出する。可能であれば、それはpysparkで可能でしょうか？

3. kafkaを使用してデータフレームにさまざまなスパーク送信を実行する。

私はSparkにはかなり新しく、EarnのSpark on Yarnを連続して実行することで、複数の集計を連続して実行することができます。彼らがほとんど独立しているので、これらの集約を並行して実行することができれば、私は考えていました。

Answer 1

は、あなたの幅広い質問を考えてみましょう、ここでは広義の答えです：

はい、並行して、単一のデータフレーム上で複数の集計ジョブを実行することが可能です。

残りについては、あなたが求めていることは明確ではないようです。