代替を再帰的に火花提出ジョブ

Question

を実行するには、以下の私は上のアドバイスを必要とするシナリオ、

シナリオです。

スパークプログラムは、Hiveのデータに対してETL操作と複雑な結合を実行する必要があります。

Nifiから取り込まれたデータは連続的なストリーミングであるため、取り込んだデータに対して1〜2分ごとにSparkジョブを実行します。

どちらをお使いになるのが最適ですか？

スケジューラを使用して1分ごとにspark-submitジョブをトリガーしますか？ ジョブを再帰的にsparkクラスタに送信する際に、オーバーヘッドとタイムラグをどのように減らしますか？再帰的に1つのプログラムを実行するより良い方法はありますか？

スパークストリーミングジョブを実行しますか？ スパークストリーミングジョブは1分ごとに自動的にトリガーされ、ハイブからデータを処理できますか？ [スパークストリーミングは時間ベースでのみ起動できますか]

このようなシナリオを処理する効率的なメカニズムはありますか？アドバンス

Answer 1

1. で

   おかげであなたがより良い利用スパークストリーミングではなくバッチ毎分実行し、何かが必要な場合。

2. より速いので、kafkaからデータを直接取得し、ハイブテーブルからデータを取得することができます。

あなたの質問には、より良いバッチ/ストリームがあります。スパークストリーミングは、「バッチ間隔」ごとに実行されるマイクロバッチプロセスと考えることができます。

以下をお読みください：https://spark.apache.org/docs/latest/streaming-programming-guide.html