スパークSQL - 範囲

Question

私はSQL以上の特定のスパークSQLでこれを行うことができる方法の範囲0,10,20,30,40,...80,90,100,110,120への集約やビンの値を希望

+---------------+------+ 
|id    | value| 
+---------------+------+ 
|    1|118.0| 
|    2|109.0| 
|    3|113.0| 
|    4| 82.0| 
|    5| 60.0| 
|    6|111.0| 
|    7|107.0| 
|    8| 84.0| 
|    9| 91.0| 
|    10|118.0| 
+---------------+------+ 

ANSのようなテーブルを持っているに集計データフレーム？

現在のところ、私は範囲との結合に側面を持っていますが、これはやや不器用で非効率的です。

離散化された分位は実際には私が望むものではなく、むしろCUTの範囲です。

編集

https://github.com/collectivemedia/spark-ext/blob/master/sparkext-mllib/src/main/scala/org/apache/spark/ml/feature/Binning.scalaは、動的なビンを行うだろうが、私はむしろ、この指定された範囲が必要になります。

Answer 1

私は単なる初心者です。しかし、私は示唆を持っています。それがうまくいくか試してみてください。一般的なケースで

SELECT id, (value DIV 10)*10 FROM table_name ; 

Answer 2

、静的ビニングはorg.apache.spark.ml.feature.Bucketizerを用いて行うことができる。

val data = Array(
    (1, 118.0), (2, 109.0), (3, 113.0), (4, 82.0), (5, 60.0), 
    (6, 111.0), (7, 107.0), (8, 84.0), (9, 91.0), (10, 118.0) 
) 
val df = spark.createDataFrame(data).toDF("id", "value") 

import org.apache.spark.ml.feature.Bucketizer 

val splits = (0 to 12).map(_ * 10.0).toArray 

val bucketizer = new Bucketizer() 
    .setInputCol("value") 
    .setOutputCol("bucket") 
    .setSplits(splits) 

val bucketed = bucketizer.transform(df) 

bucketed.groupBy($"bucket").agg(count($"id").as("count")).show() 

結果：値が定義されたビンの外側にある場合

+------+-----+                
|bucket|count| 
+------+-----+ 
| 8.0| 2| 
| 11.0| 4| 
| 10.0| 2| 
| 6.0| 1| 
| 9.0| 1| 
+------+-----+ 

bucketizerエラーをスロー。アウトライヤーをキャプチャするには、分割ポイントをDouble.NegativeInfinityまたはDouble.PositiveInfinityと定義することは可能です。

Bucketizerは、適切なバケットをバイナリ検索することで、任意の分割で効率的に動作するように設計されています。あなたのような定期的なビンの場合、1は、単にような何かを行うことができます。bin_minとbin_widthが最小ビンの左側の間隔をそれぞれビン幅です

val binned = df.withColumn("bucket", (($"value" - bin_min)/bin_width).cast("int")) 

。