スパーク：タスク/パーティションの数を増やす

Question

Sparkのタスクの数は、ステージの始めにRDDパーティションの総数によって決まります。たとえば、SparkアプリケーションがHDFSからデータを読み取っている場合、Hadoop RDDのパーティションメソッドはMapReduceのFileInputFormatから継承され、HDFSブロックのサイズ、mapred.min.split.sizeの値および圧縮方法などの影響を受けます。

スクリーンショットのタスクは、7、7、4秒を要し、そして私は彼らがバランスしたいです。また、ステージは3つのタスクに分割されていますが、Sparkにパーティション/タスクの数を指定する方法はありますか？

Answer 1

タスクはパーティションに依存します。 RDDのパーティショナーを設定することができます。パーティショナーでは、パーティションの数を設定できます。