apache-spark-dataset

3熱

1答えて

Spark Datasetsに関して厳密に型指定されたAPIと型なしのAPIとは何ですか？データセットはデータフレームとどのように類似していますか？

3熱

1答えて

Spark 2.0.0：DataSetをカスタムエンコードされた型に集約する方法は？

私はセグメント列上の任意の地図操作を適用して、基礎となるLineStrign方法を使用することができたLineString implicit def single[A](implicit c: ClassTag[A]): Encoder[A] = Encoders.kryo[A](c) implicit def tuple2[A1, A2](implicit e1: Enc

5熱

2答えて

CSVファイルからSpark Datasetを作成

単純なCSVファイルからSpark Datasetを作成したいとします。ここでは、CSVファイルの内容は以下のとおりです。ここで name,state,number_of_people,coolness_index trenton,nj,"10","4.5" bedford,ny,"20","3.3" patterson,nj,"30","2.2" camden,nj,"40","8.8"

1熱

1答えて

スパーク時間差

スパーク1.5.xから、いくつかの便利な方法が時間を処理するために追加されました。 df.select(datediff($"A", $"B")).show しかし、これは日数の差を返します。それを別の間隔に変換するオプションはありますか？年？手動で私は十分です df.select(year($"A")- year($"B")).show を使用しました。しかし、日付差がより正確に計算さ

1熱

1答えて

スパークはどのようにタスクの数を決定しますか？

私は、いくつかのテキストファイルを読み込むときにSparkによって作成されるタスクの数にちょっと混乱します。ここでコードです：完全bフォルダが読み込まれているので26個のファイルの合計が存在するように val files = List["path/to/files/a/23", "path/to/files/b/", "path/to/files/c/0"] v

1熱

1答えて

sparkはデータフレームから配列[行]ではなくArray [行]として収集します

RDD APIを使用してこのような列を収集できます。 df.map(r => r.getAs[String]("column")).collect しかし、当初はデータセットを使用していたので、APIレベルを切り替えることはできません。 df.select("column).collectは、演算子が動作しなくなったArray[Row]を返します。 Array[T e.g. String]に直

3熱

1答えて

正しいnull許容度を持つケースクラスのSparkスキーマ

カスタム見積もりのtransformSchemaメソッドでは、入力データフレームのスキーマとケースクラスで定義されたスキーマを比較できる必要があります。通常、これは下記のようにGenerate a Spark StructType/Schema from a case classのように実行できます。しかし、間違ったNULL値を許可するかどうかが使用されます。 spark.read.csv()

3熱

1答えて

Spark 2.0 DataSets groupByKeyと操作と型の安全性を分割する

コンパイル時の型の安全性のため、Spark 2.0 DataSetsに非常に満足しています。しかし、ここで私はうまくいかない問題のカップルです、私はまた、このための良い文書を見つけられませんでした。問題＃1 - 凝集カラム・に除算演算コードの下に検討 - 私は[MyCaseClass]データセットを持っており、IはC1、C2、C3との和にgroupByKeyしたかった（C4）/ 8以下私は合

0熱

1答えて

パフォーマンス調整、outOfMemoryErrorGcとGC制限のパラメータを超えました

私は8つのCPUコアと30GBのメモリを持つそれぞれ5つのモードがあります。私は5GBのdataset1と65GBのデータセット2を持っているので、それらを結合してs3ファイルに保存する必要がありますシステムと私は、次のパラメータを設定します。 --num-executors 4 --spark.driver.memory 8g --executor-cores 5 --executor-memo

3熱

1答えて

行rddを型付きrddに変換する方法

行RDDを型付きRDDに変換することは可能ですか？以下のコードでは、私が行JavaRDDはタイプJavaRDDに対抗するために変換することができますコード：Scalaで JavaRDD<Counter> rdd = sc.parallelize(counters); Dataset<Counter> ds = sqlContext.createDataset(rdd.rdd(), encode