Cassandraにデータを挿入するためのスパークジョブ

Question

Spark on Scalaを使用してCassandraテーブルにデータを書き込もうとしています。スパークタスクが間に失敗し、部分的な書き込みがあることがあります。 Sparkは新しいタスクが最初から開始されたときに部分書き込みをロールバックしますか？

Answer 1

いいえ、正しくてもデータを再処理することはできます。部分書き込みを上書きします。 Cassandraに書き込むとき、同じ主キーでデータを挿入しようとしているときに一種の更新（upsert）が使用されます。

Answer 2

いいえ、Spark（とそのことについてはCassandra）は、タスク全体に基づいてコミットスタイルの挿入を行いません。これは、あなたの書き込みが冪等でなければならないことを意味します。そうでないと、奇妙な振る舞いで終わることがあります。