spark-graphx

1熱

1答えて

私はSpark GraphX（Scala）の有向グラフGを持っています。私は、既知の頂点v1から交差して、別の頂点v2に到着する辺の数を求めたいと思います。言い換えれば、頂点の数で計算された頂点v1から頂点v2までの最短経路が必要です（エッジの重みは使用しません）。私はGraphX documentationを見ていましたが、その方法を見つけることができませんでした。これは、ツリー構造を持つグラ

0熱

1答えて

Spark Scala GraphX：マップ関数内で最短経路を呼び出す

グローバルグラフ変数の最短経路を呼び出す関数をマッピングするときに、ヌルポインタ例外ランタイムエラーを受け取るコードに問題があります。何らかの理由で、端末の距離を初期化してもエラーが発生せず、testF（）を呼び出しても正常に動作しますが、マップされたときには機能しません。私がtestF関数の中で曖昧な距離の呼び出しを取り除くと、この例は正常に動作します。誰がなぜこれが起こっているのか知っています

0熱

2答えて

時系列表からスパークでグラフを作成する

私は3つの列を持つテーブルがあると仮定します。 user, time, place。私はそれらの間の時間が特定のしきい値を下回る場合、各ユーザのためにplace遷移のグラフを作成したいと思います。すなわち、ユーザによるグループ分けおよび時間による順序付けの後に、（place_i、place_j）の各インスタンスについてエッジの重みを増加させて、隣接する行（i、j）からエッジplace_i~jを有向

-2熱

1答えて

Spark GraphXの新しいサンプルSSSPExample.scalaのテスト方法

新しいGraphxの例は、Apacheのgit hubリポジトリhttps://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/graphx/SSSPExample.scalaに掲載されています。コードが行含まれます。bin /実行例graphx.SSSPExample を

2熱

1答えて

Spark graphの関数マスクの使い方は？

新しいグラフ（Aと呼ぶ）が他のグラフのサブグラフ（Bと呼ばれている）かどうかチェックしたいと思います。そして私はテストのための少しデモを書くが、失敗した！私は、ちょうど火花シェル上でスパークバージョン1.6.1のデモを実行します。API on spark websiteの私の理解では // Build the GraphB val usersB = sc.parallelize(Array(

2熱

1答えて

GraphXとZeppelinでグラフを表示する

私は現在他の誰かのコードを使っているプロジェクトに取り組んでいます。私はこのコードがどのように機能するかの基本的な概念を理解していますが、すべてではありません。その目的のために、私は小規模な例を実行してトレースしようとしています。私はprintlnを使ってこれを行うことができることを知っていますが、私は実際に各操作の後にグラフを視覚化したいと思います。 sparkで生成されたグラフを表示できますか

0熱

1答えて

GraphX - パスからすべてのノードを取得する

GraphXでは、特定の長さのパス上にあるすべてのノードとアークを取得する方法はありますか？より具体的には： AからBまでの10ステップのパスをすべて取得したいと思います。各パスについて、ノードとアークのリストを取得したいと思います。おかげ

0熱

1答えて

グラフ化されていないグラフ上で計算するためのGraphx pregel apiのactiveDirection

Graphx Pregel APIを使用して、無向グラフ上で計算を実行する必要があります。設定した場合、グラフの方向性は無視されますか？ activeDirection = EdgeDirection.Either？

4熱

1答えて

同じエラーが発生したデータ型を持つSparkの "error：type mismatch"

私はコードを実行するためにspark-shellを使用しています。私のコードでは、関数を定義し、その関数をそのパラメータで呼びます。問題は、関数を呼び出すときに以下のエラーが発生することです。このエラーの背景は何ですか？ SparkのGraphデータ型と何か関係がありますか？コード：これは、関数 "countpermissions"の定義と呼び出しを含む、私のコードの一部です。 class

1熱

1答えて

GraphicグラフでマッピングするSparkの新機能 - NullPointerException

私の目標は、共通のグラフ全体から複数の部分グラフの三角形を数えることです。サブグラフは、ノードの定数セット+ RDD [Long]からのノードによって定義される。私はspark/graphxの新機能ですので、これはマップの不適切な使用かもしれません。私が共有しているコードは、私のエラーを再現します。 import org.apache.spark.rdd._ import org.apache