spark sqlジョブのためのスパーク修正タスク番号

私は、修正された200のタスクが関与している一連の段階をスパークスケジュールで見続けます。これは、私がこれを推測しているいくつかの異なるジョブに起こり続けるので、スパークの設定の1つに何らかの形で関連しています。その設定が何であるかのご提案ですか？spark sqlジョブのためのスパーク修正タスク番号

出典

2016-08-09 Meisam Emamjome

200シャッフル中に使用されるデフォルトのパーティション数はspark.sql.shuffle.partitionsです。その値はSQLContext.setConfを使用して実行時に設定することができます。

sqlContext.setConf("spark.sql.shuffle.partitions", "42")

またはRuntimeConfig.set

spark.conf.set("spark.sql.shuffle.partitions", 42)

出典

2016-08-09 13:23:15 zero323

おかげで、それを試してみるつもり。あなたに42を提案する理由はありますか？私は数を増やすことを考えていた。 –

これはすべての答えです:)真剣にこれはあなたのデータと設定に依存するので、私は単に頭に来る最初の数字を使用しました。この問題を解決した – zero323

私は私の場合は512に増やした。 –

spark sqlジョブのためのスパーク修正タスク番号

答えて

関連する問題