spark-graphx

    4

    1答えて

    多くのグラフファイルがあり、各グラフには約500Kのエッジがあります。私はApache Sparkでこれらのグラフファイルを処理していましたが、グラフ処理ジョブ全体を効率的に並列化する方法は不思議でした。今のところ、すべてのグラフファイルは他のファイルと独立しているので、ファイルとの並列性を探しています。したがって、グラフファイルが100個あり、ノードクラスタが20個ある場合、各ノードで各ファイル

    6

    1答えて

    graphxを使って有向グラフを作成しました。 #src->dest a -> b 34 a -> c 23 b -> e 10 c -> d 12 d -> c 12 c -> d 11 は、私はこのようなすべての2人のホップの隣人を取得したい: a -> e 44 a -> d 34 私のグラフは非常に大きいので、私はエレガントかつ効率的にそれを行うしたいと思います。 誰

    0

    1答えて

    は、私は私がこれを行うための最も効率的な方法は何 Map(-2634311911308936962 -> 0, 2326575714372975825 -> 1, ... ) マップに変換したいVertexIds v: Array[org.apache.spark.graphx.VertexId] = Array(-2634311911308936962, 2326575

    0

    1答えて

    私はscalaとspark-graphXの新機能です。 spark-graphx変数をscalaのグローバル変数として宣言する方法を教えてください。 私はspark-graphXでグラフを作成する方法があり、成功しています。 今、別の方法からグラフの詳細を取得したいと思います。 そのためには、グラフ変数をグローバルとして宣言する必要があります。 どうすればよいかお勧めします。

    3

    1答えて

    私はGraphXとPregelをJava APIで使用しています。私はMaxValueアルゴリズムを実装しようとしています(与えられた加重グラフと出力は最大の重みです)。しかし、私の実装はうまくいきません。 public class Main { public static void main(String[] args){ SparkConf conf = new SparkCon

    1

    1答えて

    私は、ルーバインのモジュラリティアルゴリズムのSpark/graphx実装を使用したいと考えています。 https://github.com/Sotera/spark-distributed-louvain-modularity 重み付きエッジを持つグラフ上にそれを適用する方法はありますか? 入力ファイルに2列または3列が含まれているようです。 2の場合は 、最初のものは送信元、2番目は送信先です

    1

    1答えて

    私はspark-graphxとscalaの新機能です。 どのようにしてgraphxの頂点のIDを得ることができましたか? この私のコードは: val sourceVertex=graph.vertices.filter { case (id,(_,_,_,_,_)) => id == 0} // The source vertex var c=sourceVertex.id は、私は、cがs

    0

    1答えて

    aws EMRで約100GBの入力ファイルサイズでSparkでGraphXを実行しています。 ノード以下のように私のクラスタ構成がある - 10 メモリ - 122ギガバイトそれぞれ HDD - 320ギガバイトどんなに私が spark-submit --deploy-mode cluster \ --class com.news.ncg.report.graph.NcgGraphx \ nc