Spark graphX：大きなデータを読み込んでグラフを作成する方法

Question

まず、配列を使って頂点を作成し、それを並列化してRDDにする例がたくさんありますが、巨大なデータがあればどうしたらいいですか？私は頂点の100万行という配列を作ることはできないと思う。

Spark GraphX - How can I read from a JSON file in Spark and create a graph from the data?という投稿もありますが、私も間違っていてもそれを修正しても問題はありません。

ありがとうございます。

Answer 1

ファイルにあなたのデータであれば、その後、あなたが直接その上にRDDを作成することができます。

val rdd : RDD[String] = sparkContext.textFile("/path/to/file") 

してからVertexRDDやEdgeRDDにそれを変換します。