スパークストリーミングでプリントを実行する

Question

kafkaから100レコードのデータを読み込み、マップステップを1回実行した後、各インターバルでstream.print（5）を呼び出す、非常に基本的なスパークストリーミングアプリケーションがあるとしましょう。すべてが正常に動作しています。 Sparkは各インターバルに5レコードを印刷します。私の質問は：印刷機能は、すべての100のレコードまたは5つの私が求めているマップステップを計算するスパークを行いますか？ 私はいくつかのパフォーマンステストを実行しているので、sparkがすべてのデータのすべてのステップを実行することを確認したいだけです。

Answer 1

スパークはmapのステージ全体をDStreamで実行します。 5つのレコードしか印刷しないという事実は、それらがイテレータから消費されますが、すべてのデータが変換をパスすることを保証するためです。