スパークストリーミング - REST APIの呼び出しとSparkストリーミングのネイティブ機能の構築

Question

timeseriesデータを管理するための特定の機能があります。 funtionalityはすでにREST APIとして提供されており、Cloudfoundryで動作します。私たちはSpark Streamingとkafkaを使用して時系列データを取り込むためのサポートを提供し、ソリューションのスケーラビリティと堅牢性を高めていきたいと考えています。 スパークストリーミングからREST APIを呼び出して、スパークでネイティブに機能を組み立てるのには何が欠点ですか。

Answer 1

REST APIがSpark Streamingのスループットをサポートできる場合、REST APIはスループットを直接サポートできると主張します。この場合、Spark Streamingは実際には必要ありません。必要なものが予期しないスパイクのバッファーである場合、スパークストリーミングより簡単な方法があります。

ご質問をより直接的に解決するために、REST APIを呼び出すと、遅延と追加の失敗事例がSpark Streamingパイプラインに追加されます。 Spark Streamingでロジックを実装すると、コードの複雑さと重複が直接追加されます。どちらのオプションも運用上の複雑さを増します。