graphframes

2熱

4答えて

graphframesパッケージ（here）をダウンロードしてローカルディスクに保存しました。さて、私はそれを使用したいと思います。だから、私は次のコマンドを使用します。予想通り IPYTHON_OPTS="notebook --no-browser" pyspark --num-executors=4 --name gorelikboris_notebook_1 --py-files ~/tem

1熱

2答えて

Apache-SparkグラフフレームのSBT

次のSBTファイルがあります。私はApache GraphFrameを使用してScalaコードをコンパイルしており、CSVファイルも読み込んでいます。私はSBTを使ってJARファイルを作成しようとすると、ここで name := "Simple" version := "1.0" scalaVersion := "2.10.5" libraryDependencies ++= Seq(

0熱

1答えて

GraphFrames APIはBipartiteグラフの作成をサポートしていますか？

GraphFrames APIは現在のバージョンでのBipartiteグラフの作成をサポートしていますか？現在のバージョン：0.1.0 スパークバージョン：1.6.1

2熱

1答えて

Sparkで複雑なカラム構造を作成するためのショートカット

Graph.pregelアルゴリズムをGraphFrame.aggregateMessagesに移植しています。私は少し煩わしいGraphFrame APIを見つけています。 Graph APIでは、メッセージタイプとしてcase classを送信できます。しかし、GraphFrame APIでは、aggregateMessages.sendToSrcと.sendToDstは、SQL式String

0熱

1答えて

GraphFramesをscala 2.11で追加するとBuild.sbtが壊れる

私はscala sparkアプリケーションにGraphFrameを追加しようとしていますが、2.10に基づいてGraphFrameを追加するとうまくいきました。しかし、GraphFramesをscala 2.11でビルドしてビルドしようとすると、すぐに破損します。問題は、使用されるスカラーのバージョンが競合していることです（2.10および2.11）。これは私の完全なbuild.sbtです..私は