apache-spark-dataset

0熱

1答えて

このPageRankジョブは、RDDよりもデータセットを使用する方がずっと遅いのはなぜですか？

新しいDataset APIを使用してJavaでPageRankのthis exampleを実装しました。古いRDD APIを使用しているサンプルに対して自分のコードをベンチマークすると、自分のコードは186秒かかりますが、ベースラインはわずか109秒しかかかりません。不一致の原因は何ですか？（余談：？それはデータベースが唯一のエントリの一握りが含まれている場合でも、数百秒を取るためにスパークの

0熱

1答えて

Spark 2.2.0：リストの列のデータセットから特定の重複を削除する方法

誰にでもGoodMorningといい日があります。私は以下のようなデータセットを持っています +-----+------------+ |Text2|Set | +-----+------------+ |seven|[3] | |one |[1, 5, 2, 3]| |six |[5] | |five |[5, 2, 4] | +-----+------------+

0熱

1答えて

ロードCSVデータは、データフレームへとApacheスパーク（Java）の

を使用して配列に変換して、私は、CSVは、以下のデータを含むファイルがあります。 1,2,5 2,4 2,3 私は、配列の文字列のDATAFRAME持つスキーマにロードしたいです出力は以下のようになります。 [1, 2, 5] [2, 4] [2, 3] これは、ここでのScalaを使用して回答されています Spark: Convert column of string to a

0熱

1答えて

データセットでwithColumnを呼び出すコストは

です。私はRDDで作業していたいくつかのプロジェクトの後にデータセットを扱うようになっています。私は開発のためにJavaを使用しています。私の知る限り、列は不変です。列のマップ機能はありません。列をマップする標準的な方法では、withColumnという列を追加しています。私の質問はwithColumnを呼び出すと本当に何が起こっているのですか？パフォーマンスのペナルティはありますか？私は可能な

0熱

1答えて

apache sparkでフラットマップ操作を回避してパフォーマンスを向上させる方法

my java itemObjectに対して一連のルールを実行しています。各項目について、ルールのリストを処理しています。通常、私は100万アイテムと100のルールを持っています。現在、このプログラムをスパークで実行すると、15分かかります。私は、faltMaptopairが時間がかかることを観察しました。私はこのプログラムのパフォーマンスを改善したい。リファクタリングの Get the r

0熱

1答えて

Sparkはネストされたケースクラスに直接データを読み込むことができますか？

CSVに3列、item、username、およびuseridがあるとします。その後dsはタイプDataset[Flat]のものであろう case class Flat(item: String, username: String, userid: String) ds = sparkSession.read.csv("path/to/data").toDF("item", "username",

0熱

1答えて

MongoDBからSparkを読み込み、objectIdインデックスフィールドでフィルタリングします

mongo-spark-connector 2.2.0を使用して_idフィールドのフィルタを使用してMongoDBからデータセットを読み込もうとしています。例えば： MongoSpark.loadAndInferSchema(session,ReadConfig.create(session)).filter(col("_id").getItem("oid").equalTo("590755cd

2熱

3答えて

スパーク：データセットシリアル化

Iは、データセットの場合のクラスとなっている各レコードを有し、そしてそのシリアル化が使用されているので、以下に示すように、私はそのデータセットを永続化する場合： myDS.persist(StorageLevel.MERORY_ONLY_SER) ないスパーク用のJava/KYROシリアライゼーションをしますデータセットをシリアル化しますか？またはデータフレームのように、Sparkにはデータセ

0熱

1答えて

Spark 2.2.0でデータが読み込めない形式のデータセット

以下は、intellij IDE上でspark2.2.0で実行しようとしているコードです。しかし、私が得ている出力は、readble形式では見えません。 val spark = SparkSession .builder() .appName("Spark SQL basic example").master("local[2]") .getOrCreate()

1熱

1答えて

Spark CSV - 実際のパラメータに該当するコンストラクタ/メソッドが見つかりません

Javaスパークアプリケーションのフィルタと型付きデータセットのマップでラムダ関数を使用する際に問題があります。私は以下のクラスと火花2.2.0を使用しています。このランタイムエラーに ERROR CodeGenerator: failed to compile: org.codehaus.commons.compiler.CompileException: File 'generated.ja