スパークがcassandraノードを読み込みに選択する方法は？

Question

N台のマシンにN個のノードを持つCassandraクラスタを持っています。また、私はすべてのマシンに作業員を派遣しています。私はDatastax spark-cassandraコネクタを使用しています。私は労働者（スタンドアロンモード）を設定しているときに私は彼らのためのマスターホストと言う。ドライバでは、spark.cassandra.connection.hostプロパティでCassandraの種を指定しています。私はデータのローカリティに関する多くのプレゼンテーションを見ました。しかし、spark-cassandraコネクタが各作業者のローカルノードをどのように選択するかについての情報は見つかりませんでした。どのアルゴリズムコネクタがこれに使用しますか？

Answer 1

コネクタはトークン対応です。実行するクエリにtoken("partition-key") > ? AND token("partition-key") <= ?などのトークン範囲フィルタを追加することで、データの局所性を保証します。

コネクタは、各スパークパーティション内のデータの64メガバイトについてロードするクエリを生成するためのパラメータspark.cassandra.input.split.size_in_mb（64メガバイトのデフォルト）（token(...) >? AND token(...)< ?）を使用しています。