スパークデカルトはシャッフルを引き起こしませんか？

Question

したがって、このスタックオーバーフローポストに基づいてシャッフルを引き起こすSpark操作についてテストしようとしました：LINK。しかし、cartesian操作でSparkでのシャッフルが発生しない場合は、パーティションをネットワーク上で移動してローカルに配置する必要があるため、意味がありません。

Sparkは実際にそのシーンの背後でcartesianとdistinctの操作をどのように実行しますか？

Answer 1

シャッフルは、キーと値のペア（RDD[(T, U)]と一般的にはPairRDDsまたはPairwiseRDDsと記載されています）のRDDに固有の操作であり、Hadoopのシャッフルフェーズとほぼ同等です。シャッフルの目的は、キー値とPartitionerに基づいて、特定のエグゼキュータにデータを移動することです。

Sparkではネットワークトラフィックが必要ですが、シャッフルと同じタイプのロジックを使用せず、必ずしもキーと値のペアを必要とするわけではありません。デカルト積はこれらの操作の1つです。これはマシン間でデータを移動させますが（実際ははるかに高価なデータ移動を引き起こします）、キーとエグゼキュータの関係は確立されません。