spark-graphx

1熱

1答えて

vertexIdだけでなく、aggregateMessagesからエンティティを取得する方法

package com.mypackage import org.apache.spark.graphx._ import org.apache.spark.{SparkContext, SparkConf} /** * Created by sidazhang on 11/8/16. */ case class Person(age: Int) case cl

0熱

1答えて

は、私はRDDを作成し、後で

HDFSと負荷にgraphx頂点を保存 verticesRDD.take(3).foreach(println) (4000000031043205,1) (4000000031043206,2) (4000000031043207,3) 私は経由してHDFSにこのRDDを保存します。 verticesRDD.saveAsObjectFile("location/vertices") 私

0熱

1答えて

GraphXでGraphを作成するにはどうすればいいですか

ApacheのsparkでGraphXで次のように作成する方法を理解するのは苦労しています。例えば node: ConnectingNode1, ConnectingNode2.. ：：私は何とか、このデータを保存する必要が 123214: 521345, 235213, 657323 形で来るデータの負荷を持っている HDFSファイル：私は、次のように与えられていますEdgeRDDので、私はGr

1熱

1答えて

Apache Spark Graphx：ソースとデスティネーションがVertexIdを共有していますが、別のものを返す

GraphLoader edgeListFileでロードするグラフのエッジを表すsrcId - > dstId値を持つファイルがあります。ソースはユーザーと宛先アイテムを表しますいくつかの場合、srcIdとdstIdは等しいので、いくつかのアルゴリズムでは、各頂点のネイバーを収集したいときなどのエラーがあります。ユーザーとアイテムを分けて情報を失わないようにすることはできますか

1熱

1答えて

GraphXが正常に動作しないSpark/Scala

私は、Spark/ScalaのapacheでGraphXオブジェクトを作成しようとしていますが、何らかの理由で動作していないようです。私は、実際のプログラムコードは、例えば、入力ファイルのファイルを添付している： package SGraph import org.apache.spark._ import org.apache.spark.SparkContext._ import

1熱

1答えて

Spark GraphX：要件が失敗しました：無効な初期容量

Spark、Scalaの新機能です。私はトライアングルは、このデータセットでカウントを実行しようとしています：DataSet 趣味のプロジェクトのためにこれは私がこれまでに書いたコードです： import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spa

1熱

1答えて

複数の頂点タイプを指定したspark graphxでの結合方法

Graphxを起動するのは比較的新しいです。基本的に私のグラフがあります。 2頂点の種類：人と車エッジが、私は、グラフ内の指定されたすべての人の頂点にたい車所有している人について説明し、にエッジをトラバース各人の車のリストを収集する person1 -> [car1, car2] person2 -> [car3]

0熱

1答えて

GraphyをIPythonノートブックで実行するには？

IpythonノートでGraphXを実行しようとしています。まず、Spark/Hadoopクラスタを起動し、このチュートリアル（http://blog.insightdatalabs.com/jupyter-on-apache-spark-step-by-step/）を使用してipythonノートブックを起動しました。しかし、今はPython 2カーネルしか持っていません。グラフで作業するにはGr

1熱

2答えて

Scalaの汎用メソッドGraphX

import org.apache.spark.graphx._ object Test { def main(args: Array[String]): Unit = { val graph = GraphGenerator.generate_graph() println(graph.numEdges) println(solve(graph)) }

7熱

1答えて

GraphXを使用して有向グラフを無向グラフとして実装します

以下のノードとエッジによって与えられる以下の有向グラフがあります。ノード 1,2,3,4,5 私は無向グラフにこの有向グラフを変換するにはどうすればよいエッジ (1,2),(1,3),(1,4),(2,5),(3,4),(3,5),(4,5) 私は組み込みメソッドを使用して変換する必要があります。メソッドに組み込みがある場合は、どのような方法ですか？または、（1,2）〜（2,1）など