不正なデータに遭遇したときにスパーク実行をプログラムで停止する方法

Question

RDD変換でデータの妥当性チェックを追加します。無効なデータの処理を中止する最もエレガントな方法は何ですか？それはヤーンクラスターで実行されます

Answer 1

フィルタ変換を使用して条件を確認してください。不良レコードは返されません。今、このRDDの数を以前のRDDと比較してください。それがより少ないときは、条件をトリガーします。