Flinkストリームからの手動チェックポイント

Question

Flinkストリーミングジョブからチェックポイントをトリガすることは可能ですか？

私の使用例は次のとおりです。私は、2つのストリームRとSをタンブリング時間ウィンドウに結合する必要があります。ソースはカフカです。イベント時間処理とBoundedOutOfOrdernessGeneratorを使用して、2つのストリームからのイベントが同じウィンドウで終了するようにします。

私の状態は大きく、定期的な定期チェックポイントには時には時間がかかりすぎます。最初は、チェックポイントを無効にし、カフカのオフセットに頼っていました。しかし、順不同は、私が現在のオフセットから将来のウィンドウに既にあるデータを持っていることを意味します。だから私はチェックポイントが必要です。

ウィンドウが周期的ではなくクリーンアップされた後で、チェックポイントをトリガすることが可能だった場合は、より効率的です。たぶんevictAfterメソッドで。

これは意味がありますか？私は周りの仕事を感謝していない場合はありません。

Answer 1

ここでは、チェックポイントの効率が問題と思われます。 Debugging and Tuning Checkpoints and Large Stateのドキュメントに記載されている増分チェックポイントでRocksDB州のバックエンドを使用することを検討してください。 Flink環境で