Kafka - 大きなメディアコンテンツを送信する

大きなビデオファイルをあるシステムから別のシステムに連続して送信する必要があります。カフカは大規模なメディアコンテンツを伝送するのに適していますか？このソリューションを選択する前に考慮する必要がある考慮事項は何ですか？Kafka - 大きなメディアコンテンツを送信する

出典

2017-06-27 Punter Vicky

あなたは大きなビデオファイルへの外部基準にその時点のメッセージを送信するためにカフカを使用することができます。受信者はこの外部ストレージから新しいファイルをダウンロードできます（Amazon S3バケットなど）。これは、「クレームのチェック柄」と呼ばれ、ここでhttp://www.enterpriseintegrationpatterns.com/patterns/messaging/StoreInLibrary.html

を文書化されているが、カフカは、大きなビデオファイル自体を運ぶために設計されていません。管理されたファイル転送ツールではありません。

出典

2017-06-27 01:37:52

ありがとう、Hans –

あなたは可能性がチャンクアップファイルをして、もう一方の端にチャンクを再結合カフカへのメッセージとして、各チャンクを置きます。デフォルトでは、カフカのメッセージサイズは1MBです。これは設定可能です。

出典

2017-06-27 02:09:11 bhspencer

ありがとうございました！あなたの経験に基づいて、ビデオファイルを伝送するこのアプローチに従うのは一般的ですか？ –

すべてのチャンクが同じトピックパーティションに（共通のキーを使用して）移動するようにすると、すべてのチャンクの順序が失われてファイルが破損します。カフカは「少なくとも一度」のためであることからしても、単一のパーティショントピックにあなたにもよるそういえばリトライ –

にオーダー・パブリッシングの外に回避するために、1にmax.inflight.messagesを設定する必要があります、あなたはまだ、重複チャンクを得ることができます生産者。少なくとも0.11が出るまで。 –

Kafka - 大きなメディアコンテンツを送信する

答えて

関連する問題