1
私はmap-reduceジョブを実行するためにsparkを使用しますが、作業者がタスクのシェアを終了し、他のワーカーがタスクリストにエンキューされたタスクを持っている場合、空のワーカーはアイドル状態に留まります。 Igniteはジョブスチールをサポートしているので、ワーカーがアイドル状態のときに他のワーカーのタスクキューから取得できます。IgniteのSparkはIgniteの仕事を盗んで使用していますか？
IgniteRDDは、発火のクラスタ上で実行される火花RDDの実装です。私はすべて私の火花RDDマップを減らすコードを同じにしているが、それを実行するジョブを使用してクラスタを点火するアルゴリズムを設定し、スパークのJavaRDDをIgniteRDDに変更するかどうかは不思議に思っていた。静的パーティションをワーカーのアルゴリズムにスパークさせる。
検索を試みましたが、明確な回答はまだありません。また、イグニッションをテストするためには多くの作業が必要になるので、ideが最初に尋ねると思った。