Sparkファイルストリーミングのゼロ入力レート

Question

Amazon S3のストリーミングデータにはtextFileStreamを使用しています。それは私に最初のバッチだけの出力を与えます。それに加えて、Spark UIの入力レートは常にゼロです。私の質問は、Spark Streaming: Input Rate and File stream [0] has "Avg: 0.00 events/sec" alwaysに似ています

助けていただければ幸いです。

ありがとうございました。

Answer 1

EMRとそのs3：//またはApache Sparkとs3n/s3aクライアント？

Answer 2

私は同じ動作を見ます。 私の推測では、UIは受信側でこれらの指標をベースにしており、実際にはtextFileStreamは受信者（ "file streams do not require running a receiver"）によって戻ってきていないので、数字は（間違って）0です。 これはseen受信機によってバックアップされていないカフカストリーム。