Apache Sparkの「サイクリックデータフロー」とは何ですか？

Question

スパークはDAG実行エンジンです。サイクリックとDAGの反対概念ではないのですか？この明らかな矛盾に対する答えを見つけるのは驚くべきことです。

ここに表示されているとおり、Understanding your Apache Spark Application Through Visualizationは、Spark UIを使用して実行DAGを視覚化することができます。ただし、そのページの例ではサイクリックデータフローを示していません。次の画像では、これらの例の1つを見ることができます。

Spark execution DAG example

これらの反復（​​サイクリックデータフロー）は、グラフ外であっても？私はMAPRで "各スパークジョブは、クラスタ上で実行されるタスクステージのDAGを作成する"と読んでいます。次に、DAG（ジョブ）間で循環データフローが発生する可能性があります。

ありがとうございます。

Answer 1

オクラホマ、それはドキュメントの中のタイプミスなどと思われます。今日の時点で、我々はSpark homepageでこれを見つけたことができます。

Apacheのスパークは、非環式データの流れと、インメモリコンピューティングをサポートし、高度なDAG実行エンジンを持っています。