apache-spark-dataset

1熱

1答えて

`データフレーム/ Dataset`機能から同じ結果を得る

データ： 1,Coke 1,Beans 1,paper 2,Beans 2,Pen 2,Sheets 2,Banana 期待出力：私は書くことによって、これを達成することができる午前 +---+------------------------+ | 1|Coke,Beans,Paper | | 2|Beans,Pen,Sheets,Banana | +---+-------

0熱

2答えて

Scala 2.0のネストされたフィールドの名前を変更するSpark 2.0 Dataset

Spark 2.0を使用してケースクラスのデータセット内のネストされたフィールドの名前を変更しようとしています。例は以下のようである、私は「アドレス」に「要素」を名前を変更しようとしていますここで、（それがデータ構造内にネストされている維持）：参考 df.printSchema //Current Output: root |-- companyAddresses: array (nulla

5熱

1答えて

スパークデータセット - 内部結合問題

私はスパーク2.0.0を使用していますが、次のように2つのデータセット（データセット[行]）があります。データセット 'appUsage'： 'APPDEV' +-------------------+------------------------------------+ |APP_ID |DEVELOPER_ID | +-------------------+-----

1熱

2答えて

データセット上のマップ関数は、1つの列の操作に最適化されていますか？

DataFrameの場合、udfをdf.withColumn("newCol", myUDF("someCol"))とすると、何らかの操作で簡単に新しい列を生成することができます。 Datasetにこのような何かを行うには、私はmap機能を使用することだろうと思います。 def map[U](func: (T) ⇒ U)(implicit arg0: Encoder[U]): Dataset[U]

3熱

1答えて

スカラリストをDataFrameまたはDataSetに変換する

私はScalaを初めて使用しています。私はスカラーリスト（ソースDataFrameで計算されたデータの結果を保持している）をDataframeまたはDatasetに変換しようとしています。私はそれを行う直接的な方法を見つけることはできません。しかし、私はリストをDataSetに変換するために以下のプロセスを試しましたが、うまくいかないようです。私は以下の3つの状況を提供しています。誰かが私に希

0熱

1答えて

Spark DatasetでTypedColumnを作成して操作するにはどうすればいいですか？

私はmapGroupsを使用して集計を実行しようとしていますが、これはSparseMatrixを列の1つとして返し、列を合計します。マップされた行のスキーマがcase classで、列名を提供しました。行列の列はorg.apache.spark.mllib.linalg.Matrixです。集計（select(sum("mycolumn")）を実行する前にtoDFを実行しないと、1つのタイプの不一

6熱

2答えて

集約列に名前を付ける方法は？

私はScalaでSparkを使用しており、集約された列は匿名です。データセットから複数の列の名前を変更する便利な方法はありますか？私はasでスキーマを当てることを考えましたが、キー列は構造体（groupBy操作のため）であり、case classを定義する方法を見つけることができません。StructTypeです。私は次のようにスキーマを定義しようとした： val returnSchema = S

0熱

1答えて

データセットが型キャスト用に独自のスキーマを受け入れないのはなぜですか？

私は、データセットスキーマを作成する方法を理解するのに苦労しています。 > ds.show +------+------+ | _1| _2| +------+------+ |[96,0]| 93439| |[69,0]|174386| |[42,0]| 12427| |[15,0]| 2090| |[80,0]| 2626| |[91,0]| 71963| |[64,0]|

2熱

1答えて

データセット内の列の名前を効率的に変更する方法（Spark 2.0）

DataFramesでは、df.withColumnRename("oldName", "newName")を使用して列の名前を変更できます。データセットでは、すべてのフィールドが型付けされ、名前が付けられているため、これは可能ではないようです。私は考えることができるの周りだけの仕事は、データセットにmapを使用することです： case class Orig(a: Int, b: Int) ca

0熱

1答えて

カスタムケースクラスなしでデータセットに多くのカラムを持つ寄木細工ファイルを読むにはどうすればいいですか？

私はデータフレームの代わりにデータセットを使用したいと思います。私は、寄木細工のファイルを読み込み、直接の種類を推測したいよ： val df: Dataset[Row] = spark.read.parquet(path) 私はDataset[Row]が、Datasetを望んでいません。 val df= spark.read.parquet(path).as[myCaseClass] し