0
A
答えて
0
DirectStreamメソッドでは、スパークプロセスのカフカデータを並列に処理します。すなわち、各エグゼキュータコアは、対応するカフカトピックおよびパーティションからデータを引き出す。
それぞれに3つのパーティションを持つ2つのトピックがあるとします。そして、2つのコアを持つそれぞれ3人のエグゼクティブがいます。
これらの2つのトピックから読んでいる場合、sparkは6つのタスク(= 6つのコア)で1つのジョブを起動し、各タスクは対応するトピック+パーティションからデータを取得します。これらのタスクはすべて並行して実行されます。
希望すると便利です。
関連する問題
- 1. スパークストリーミングで複数の.gzファイルを処理する方法は?
- 2. スパークストリーミング - バイナリデータファイルの処理
- 3. スパークストリーミング処理の並列処理
- 4. スパークストリーミングでkafkaのトピック名とそのレコードをマップする方法
- 5. スパークストリーミングGroupBy処理するタプルの部分
- 6. Bashで複数のコマンドライン引数を処理する方法は?
- 7. スパークストリーミング - バッチインターバルvs処理時間
- 8. 複数のJSONドキュメントの処理方法
- 9. 複数のスレッドのバッチを処理する方法は?
- 10. Kafka gzipの圧縮メッセージをトピックからスパークストリーミングへ読む方法
- 11. RxJS:オブザーバが複数のオブザーバを処理する方法は?
- 12. Flaskで複数のWSGIアプリケーションを処理する方法は?
- 13. 複数のコンストラクタを処理する方法は?
- 14. Javaで複数の言語を処理する方法は?
- 15. Python、複数のウィンドウ間でイベントを処理する方法は?
- 16. "addTarget" swift 3.0で複数のラジオボタンを処理する方法は?
- 17. JSONを複数のレベルで反復処理する方法は?
- 18. laravelジョブ用に複数のスレッドを処理する方法は?
- 19. 複数のアクティビティからgetResultsを処理する方法は?
- 20. PHPフォームで複数のチェックボックスを処理する方法は?
- 21. (akka)Actorで複数の約束を処理する方法は?
- 22. ListViewで複数のクリックを処理する方法は?
- 23. apache solrで複数の通貨を処理する方法は?
- 24. 1ページに複数のフォームを処理する方法は?
- 25. セレンで複数のアラートポップアップ確認を処理する方法は?
- 26. CodePipelineで複数の環境を処理する方法は?
- 27. 同じスパークストリーミングで複数のアクションを実行する方法
- 28. Kafkaスパークストリーミングの読み込みと処理の並列処理
- 29. 処理されたバッチ対スパークストリーミングのRDD
- 30. kafkaトピック/パーティションへの送信/処理を並列化する方法は?
ありがとうございました – saeed