apache-spark

1熱

1答えて

私は私がRDDで同じキーを持つ行の各カップルのための計算を実行する必要があるアプリケーションを開発していrdd.join（RDD）

を呼び出したときに何が起こっていることは、ここでRDD構造は次のとおりです。 List<Tuple2<String, Tuple2<Integer, Integer>>> dat2 = new ArrayList<>(); dat2.add(new Tuple2<String, Tuple2<Integer, Integer>>("Alice", new Tuple2<Integer, Inte

0熱

1答えて

py4j.Py4JException：メソッドは、（[]）に分割私の火花ジョブを実行する際に、私は次のエラーを取得する

存在しません： py4j.protocol.Py4JError: An error occurred while calling o191.splits. Trace: py4j.Py4JException: Method splits([]) does not exist at py4j.reflection.ReflectionEngine.getMethod(Reflectio

1熱

1答えて

スパーク：バッチの終わりにカフカオフセットをコミット

バージョン：スパーク2.2 カフカ0.11 Iを使用する必要がカフカのオフセットをコミットするdocumentationに従って： stream.asInstanceOf[CanCommitOffsets].commitAsync(offsetRanges) 結果として、オフセットはsta次のバッチのrt。それは「一定の」遅れを引き起こす。現在のバッチの最後にオフセットをコミットする（ただし、

0熱

1答えて

spark datframe、scalaの行を列に変換する方法

データフレームの行を列に転記する方法はありますか。私は、入力としての構造を以下している：列に行を入れ替えるために利用可能な任意の最適化された直接のAPIがある場合 val inputDF = Seq(("pid1","enc1", "bat"),("pid1","enc2", ""),("pid1","enc3", ""),("pid3","enc1", "cat"),("pid3","enc2

0熱

1答えて

PySpark：トークナイザ

を使用して単語をマッピング私はPySparkと私の旅を始めていますし、私は私はこのようなコードを持っている例：ための一点で立ち往生している：（私はhttps://spark.apache.org/docs/2.1.0/ml-features.htmlからそれを取った） from pyspark.ml.feature import Tokenizer, RegexTokenizer from

0熱

1答えて

Neo4j：セッションのためのワーカー.crashed。 Java Heap Space OutOfMemoryError

スパークジョブ実行中：これは、Javaからスケーラに変換され、 '並列化された'（これは並列に実行されることは意図されていませんでしたが、 sparkとneo4jを学び、b）もっと多くのノードでより多くの仕事をするスパーククラスタ上で走ることでスピードを上げることができるかどうかを見てください。その理由は、大きなボトルネックは、neo4jサイファースクリプト（withinDistance呼び出し

0熱

1答えて

Spark - ArrayBufferがまだトラバースされていない要素を取得するように見える

MapPartition内のArrayBufferに、まだトラバースしていない要素があるように見えるのはなぜですか？例えば、このコードを見ると、最初の項目は1要素、2番目の2番目の要素、3番目の3番目の要素などが必要です。どのようにして、最初のArrayBuffer出力に9個の項目がある可能性がありますか？それは最初の出力の前に9回の反復があったことを暗示しているように見えるかもしれませんが、歩

0熱

1答えて

スパーク--- zookeeper.ClientCnxn：サーバーヌルのセッション0x0の、予期しないエラー

私は、次のコマンドするためのロジックが含まれているソースファイルへのファイルパスポイント spark-shell --master local[*] --jars ./library/ejml-0.23.jar,library/jollyday.jar,library/protobuf.jar,library/stanford-corenlp-3.6.0-models.jar,library/s