ダイレクトストリームごとにレコードを読み取るために作成されるコンシューマの数はいくつですか？

Question

私はSpark Streamingを使用して、（Kafka direct stream APIを使用して）カフカからデータを読み込んでいます。

ストリームにインスタンス化されるカフカコンシューマはいくつですか？カフカの消費者の数は、エグゼクティブの人数と同じですか？各エグゼキュータは、（同じグループIDを持つ）カフカのコンシューマをインスタンス化しますか？消費者will be exactly the same as the number of Kafka Partitionsの直接的なアプローチの数と

Answer 1

：

カフカ0.10のための統合をストリーミングスパークが0.8ダイレクト・ストリーム・アプローチと同様の設計です。それは、単純な並列性を提供し、1：カフカのパーティションとスパークパーティション、およびオフセットへのアクセスとメタデータ

、別の消費者is initialized for each partition間の1つの対応。