apache spark streamingでのアプリケーション間通信

Question

私はApp1とApp2の2つのアプリケーションを持っています。 1つのクラスタで、App1のインスタンスを5つ、App2のインスタンスを1つ生成する必要があります。

5つのApp1インスタンスから単一のApp2インスタンスにデータを送信する最良の方法は何ですか？

私はカフカを使用してスパークアプリケーションからスパークアプリケーションにデータを送信していますが、セットアップが正しく行われていないと思われます。

Answer 1

Apache Igniteはお役に立ちます。

アパッチのIgniteは、同じアプリケーション内で、または異なるスパーク アプリケーション間のいずれかで、容易に複数のスパーク ジョブを横切って、メモリ内の状態を共有することを可能にするスパークRDD抽象 の実装を提供します。