鍵に基づいてストリーミングに参加する - Spark/Kafka

sparkで指定された2つのストリーミングと1つのストリーミングが100％同期していないとします。ストリーミングを取得するには違いがあるかもしれません。鍵でストリーミングに参加する必要があります。私たちは永続的なことなしにそれを行うことができる方法はありますか？鍵に基づいてストリーミングに参加する - Spark/Kafka

出典

2017-08-02 Hutashan Chandrakar

100％同期していないということはどういう意味ですか？ – marvel308

あなたは永続的に状態ストアに格納することを意味しますか？ – marvel308

@ marvel308はい。数秒間の遅延や一部の外部ストレージに保存された永続的な平均、またはキャッシングなしで遅延することがあります –

カフカストリームは、カフカのトピックのデータをこのように連続的に更新されるテーブルとして解釈するためのサポートを内蔵しています。カフカストリームDSLでは、これは、いわゆるKtable

によって実現されます。これらのKテーブルは、カフカストリームでstate storesでサポートされています。これらの状態ストアは、アプリケーションのローカル（より正確には、アプリケーションのインスタンスに対してローカルであり、1つまたは複数のインスタンスが存在する可能性があります）です。つまり、これらの状態ストアとのやりとりはネットワークを介した通信を必要としないため、書き込み操作は非常に高速です。データを維持しないことに決めた場合、望ましくない可能性のある情報が失われ始める可能性があります

出典

2017-08-07 18:37:16 marvel308

鍵に基づいてストリーミングに参加する - Spark/Kafka

答えて

関連する問題