0
以前のバージョンでは、という構成があり、spark.shuffle.manageと呼ばれ、Sparkのシャッフルアルゴリズムのタイプを決定するために使用されます。 Spark 2.0以降、この設定は削除されます。デフォルトのシャッフルアルゴリズムはソートベースです。私の理解では、タングステンシャッフルは、すべての要件が満たされている場合にのみ有効になります。現在のジョブが元のソートベースシャッフルまたはタングステンソートを使用しているかどうかをどのように知ることができますか？Spark 2.1でタングステンソートシャッフルを有効にする方法は？
ありがとうございました。 SortShuffleManager — The Default (And Only) Sort-Based Shuffle Systemを引用
うわー、あなたはマスタリングスパークの著者です！メモは私を助けます！私はあなたが私に返信できるように退場しています。毎回ありがとうございます。だから、現在シャッフルマネージャーは1つだけです。私は[この記事を読む]（https：//0x0fff.com/spark-architecture-shuffle/）。 3つのアルゴリズム、ハッシュ、ソート、タングステンを導入しています。ハッシュはすでに削除されています。ソートまたはタングステンソートの場合、どのシャッフルアルゴリズムが現在適用されているかをどのように知ることができますか？私は少し混乱しています。タングステンには、その記事で述べたようにいくつかの条件があります。これらの条件が満たされない場合、元のソートアルゴリズムが適用されますか？ –
物事はそれ以来変更されており、記事は（当時は非常に良いものの）古いものではありません。自分でコードを見てください。 –
@JacekLaskowski、この質問に関して、なぜ、ハックシャッフルマネージャがspark 2.xで削除されたのか不思議です。ありがとう – seiya