spark-graphx

1熱

2答えて

'activeness'はEdgeActiveness.javaに記述されています。 spark-graphxの 'activeness'の意味は何ですか？

1熱

2答えて

Scala IDEにorg.apache.spark.graphx._パッケージを認識させるには？

は私が私の仕事にGraphXを含めるしようとすると、ScalaのIDEがorg.apache.spark.graphx._やグラフに関連するものを認識しないので、私は何か間違ったことをやっているようだ（！）私が最初に私のプロジェクトを作成したときは、私が何かを欠場します？追加のライブラリを含める必要がありますか（どのように）？

1熱

1答えて

Spark Graphxの特定のノードに接続されている間接ノードを見つける方法

特定のノードに接続されている間接ノードを探したいと思います。私は以下のようなグラフの連結成分のクラスを使用してみました... graph.connectedComponents しかし、それは私が特定のノードのために必要なすべてのgraph..butのために与えています。私も以下のようにしてみました。 graph.edges.filter(_.srcId == x).map(_.dstId

-2熱

1答えて

Spark graphX：大きなデータを読み込んでグラフを作成する方法

まず、配列を使って頂点を作成し、それを並列化してRDDにする例がたくさんありますが、巨大なデータがあればどうしたらいいですか？私は頂点の100万行という配列を作ることはできないと思う。 Spark GraphX - How can I read from a JSON file in Spark and create a graph from the data?という投稿もありますが、私も間違って

3熱

1答えて

スパーク

上に有効なコンストラクタは、これは私のコードではありません： class FNNode(val name: String) case class Ingredient(override val name: String, category: String) extends FNNode(name) val ingredients: RDD[(VertexId, FNNode)] = s

-1熱

1答えて

graphXは複数のエッジと頂点をグラフ化できませんか？

私の頂点タイプがある： org.apache.spark.rdd.RDD[((Long, String), (Long, String), (Long, String))] 私のエッジタイプがある： org.apache.spark.rdd.RDD[(org.apache.spark.graphx.Edge[String],org.apache.spark.graphx.Edge[String])

0熱

1答えて

大規模なクエリの照会

HRデータを扱う組織（60 GB +毎日）。組織階層データを効率的にクエリする方法。クエリしたいと思うとします - a）組織ツリーにはどのレベルですか？ b）ある人に対して何人の直接報告者および間接報告者が存在するか。 Aには2人の直接報告者（BとC）があり、B/Cにはそれぞれ10人の直接報告者がいます。次に、このケースでは、A = 20の総間接報道官とA = 22の総報道員どのフレームワーク

8熱

2答えて

スパーク - コンテナが物理メモリの制限を超えて実行されています

私は2つのワーカーノードのクラスタを持っています。 Worker_Node_1 - 64ギガバイトRAM Worker_Node_2 - 32ギガバイトRAM 背景夏らしい：私はすべて1つのソース頂点からの最短経路距離を計算し、グラフ上でプレゲルを実行するために、糸クラスタ上で火花提出を実行しようとしています他の頂点を作成し、コンソールにその値を出力します。 Experment：15個の頂点の実