スパークRDD系列グラフの表現

によって提供される情報をより構造化されたフォーマットに変換するために、spark api RDD.toDebugString()の機能を使用する方法があるかどうかを知りたい場合は、例えば、graphvizを使用します。スパークRDD系列グラフの表現

は起こって、この周りにいくつかの活動があるようです： https://issues.apache.org/jira/browse/SPARK-1015

は、しかし、私は、構造化された形式にをtoDebugString()から情報を取得し、後で表示に使用するグラフの形式を決めたいと思います。

問題が修正されないことを。 – eliasah

toDebugString()は、内部的にRDDの再帰構造を反復し、表示可能な文字列を構築します。

toDebugString()をより構造化された出力に戻す代わりに、内部実装（構造化データに依存します）を読み込み、適切な方法でデータを保存するように変更します。

あなただけのDIY、JIRA上のすべての問題を待つ必要はありません:)

2016-03-18 20:43:47 imriqwe

私はScalaを知らないのですが、どうすればjavaでこれを行うことができますか？ –

より詳細でフォーマットされた視覚的な表現が4040ポートでデフォルトで実行スパークUIを使用して見ることができます。ここですべての詳細を示すスクリーンショット：

2017-12-07 10:33:25 KayV

答えて