スパーク

Question

ノードIは、著者のアドバイスは次火花Cassandraのアーキテクチャスキーマ（各Cassandraのノードのスパークスレーブ）を使用する記事を見つけた：

IがN Cassandraのノードを有します。すべてのノードは完全なレプリカです。私の場合、各Cassandraノードに対してSparkスレーブを実行するのは意味がありますか？

Answer 1

はい、あります。 Spark-Cassandraコネクタはデータローカリティを認識している。すなわち、Cassandraノードと同じ場所に配置された各Sparkノードは、ローカルCassandraデータのみを処理し、ネットワーク全体で多くのデータをシャッフルすることを避ける。 Russell Spitzerの話題をhereで見て、これがどのように機能するかを知ることができます。