スパークパーティション - DISTRIBUTE BYオプションを使用

Question

私たちは50MM行を処理するSpark環境を持っています。これらの行にはキー列が含まれています。一意のキー数は2000に近いです。これらの2000のキーをすべて並列に処理したいと思います。したがって、次のようなSpark SQLを使用しています。

hiveContext.sql("select * from BigTbl DISTRIBUTE by KEY") 

次に、すべてのパーティションでうまく動作するmapPartitionsを並列に使用します。しかし、問題は、デフォルトでは200個のパーティションしか作成しないということです。次のようなコマンドを使用して、私はユニークなキーの数が何であるかを知ることはできません実際の製造運転中にパーティションが

hiveContext.sql("set spark.sql.shuffle.partitions=500"); 

を増加させることができています。私はこれを自動管理したい。これを行う方法はありますか？

おかげ

バラ

Answer 1

私はあなたが「配分」機能を使用して、新しい一時テーブルとして再パーティションとさらにキャッシュそれより高速な処理のために登録することを示唆しています。さらにクエリの

val distinctValues = hiveContext.sql("select KEY from BigTbl").distinct().count() // find count distinct values 

hiveContext.sql("select * from BigTbl DISTRIBUTE by KEY") 
     .repartition(distinctValues.toInt) // repartition to number of distinct values 
     .registerTempTable("NewBigTbl") // register the repartitioned table as another temp table 

hiveContext.cacheTable("NewBigTbl") // cache the repartitioned table for improving query performance 

迅速な対応のための "NewBigTbl"