flumeはhdfsシンクを使用します。 hdfsが利用できない場合のデータの完全性を保証する方法は？

Question

hdfsが利用できない場合、データセキュリティを確認する方法はありますか？シナリオはkafka-source、flume memory-channel、hdfs-sinkです。 flumeサービスが停止している場合は、トピックのパーティションのオフセットを保存し、復旧後に適切な位置から消費することはできますか？

Answer 1

通常（デフォルト設定で）、kafkaはすべてのコンシューマのトピックオフセットを保存します。同じグループid（コンシューマープロパティの1つ）でflumeソースを開始すると、kafkaはソースのオフセットからメッセージをすぐに送信し始めます。しかし、既にkafkaから読み込まれ、メモリチャンネルに保存されているメッセージは、HDFSシンクの障害により失われます。