scala-spark

0熱

1答えて

DataFrame.withColumnでは、2番目のパラメータの条件として列の値がnullであるかどうかを確認するにはどうすればよいですか？

私はそれがどのように見えるdfを呼ばDATAFRAMEお持ちの場合： +----+----+ | a1+ a2| +----+----+ | foo| bar| | N/A| baz| |null| etc| +----+----+ を私は選択そうのような値を置き換えることができます。 val df2 = df.withColumn("a1", when($"a1" === "N/

0熱

1答えて

org.apache.spark.SparkException：ユーザー定義関数

私はスカラ座に新しい、私は次のコードを実行しようとしています実行に失敗しました： val SetID = udf{(c:String, d: String) => if(c.UpperCase.contains("EXKLUS") == true) {d} else {""} } val ParquetWithID = STG1 .withColumn(

-3熱

3答えて

spark scalaの平均値を見つけると空白になります

私はinput.txtファイルを持っています。データは以下のようになります。 1 1383260400000 0 0.08136262351125882 1 1383260400000 39 0.14186425470242922 0.1567870050390246 0.16093793691701822 0.052274848528573205 11.028366381681026

0熱

1答えて

Graphframeエラー/

スパーク私はDatabricksにScalaの2.11で、このコード行を書いた： import org.graphframes._ val user_ridotto = sqlContext.sql("SELECT * FROM userRidotto") var users_1 = user_ridotto.select("user_id", "name", "city", "num_f

2熱

2答えて

Spark Datasetで列を丸める方法はありますか？

Scala Sparkを使用すると、集計された列を丸めるために型付きのDataset APIを使用するにはどうすればよいですか？また、groupby操作でデータセットのタイプを保持するにはどうすればよいですか？これは私が現在持っているものです。 case class MyRow( k1: String, k2: String, c1: Double, c2

1熱

2答えて

ピボットスパークScalaのデータフレーム

日食にjarファイルを作成しながら、任意のコンパイルにエラーが発生しないが、スパークで実行しながら、私は、、しかし、Scalaのスパーク val dfOutput = df_input.groupBy("memberlogin").pivot("country_group2").count() にピボットメソッドを使用して寄付をしようとしていますエラーとして - Exception in t

1熱

2答えて

Spark - 異なるデータ型を使用してプログラムでスキーマを作成する

私は、String型の7-8フィールドからなるデータセットを持っています。& Floatです。 val schema = StructType(header.split(",").map(column => StructField(column, StringType, true))) 、その後のようなタイプを行にそれをマッピング：はこれを使って、プログラム的なアプローチにより、スキーマを作

0熱

3答えて

列と集合関数のマップを持つaggの最初の関数のignoreNullsフラグを設定するにはどうすればいいですか？

私はconfファイルから約20-25のリストを持ち、最初のNotnull値を集計する必要があります。私は、列リストとagg exprにconfファイルを読み込ませる関数を試しました。最初の関数を取得できましたが、最初にignoreNull値をtrueに指定する方法が見つかりませんでした。私が試したコードは、私がnullの代わりに、結果として3を取得する必要があります def groupAndA

-1熱

1答えて

Pysparkは方法

変換スパークScalaのAPIがそうのようなチェーンのカスタムデータフレーム変換することを容易にするDataset#transform方法を持っているScalaのデータセット＃と同等のメソッドを変換します方法はpyspark in the documentationです。カスタム変換を連結する方法はありますか？もしそうでなければ、メソッドを追加するにはpyspark.sql.DataFrame