スパークストリーミングジョブスケジューリング実行を制御しますか？

私はそれに応じて自分のコードいつかによる様々なリソースに今スパークストリーミングジョブスケジューリング実行を制御しますか？

書かれているので、スパーク・ストリーミングで、私は最後の1分程度だけ心配問題を抱えている私のスケジュール設定この

INFO JobScheduler: Added jobs for time 1470046240000 ms 
    INFO JobScheduler: Added jobs for time 1470046241000 ms 
    INFO JobScheduler: Added jobs for time 1470046242000 ms 
    INFO JobScheduler: Added jobs for time 1470046243000 ms

のように積み上げてしまったバッチ処理私の質問は、時間が1分を超えるとスケジュールジョブを削除して、実行前に破棄できるようにする方法です。

出典

2016-08-02 vipin

「1秒」として「バッチ間隔」を指定したようですが、これを「60秒」に増やして問題を解決してください。覚えておいては、 '処理時間'は常に 'バッチ間隔'よりも短くなければなりません。 – avr

私はすでにその50秒を完了しました問題はいつか1分間の間のスループットが増えるので処理が増えますその時間はジョブを積み重ねて処理する必要がありますが、何らかの形でこれらのジョブをもう一度削除することができます – vipin

バッチ間隔は、上記で指定したログから「1秒」（1000ms）と表示されます。しかし、IMOでは、バッチを削除するのではなく、バッチ間隔を適切に調整する方が良いです。 – avr

大きな入力データを持つバッチをスキップしてしきい値カウントを設定し、入力RDDカウントが大きい場合しきい値よりもちょうど良いそうでなければ、必要なすべての操作（変換、アクションなど）は必要ありません。

空のバッチをスキップするためにこの方法を使用します。

出典

2016-08-02 09:49:58 avr

スパークストリーミングジョブスケジューリング実行を制御しますか？

答えて

関連する問題