Google dataprocでsparkストリーミングジョブ以上の動作

Question

dataprocクラスタで複数のスパークストリーミングジョブを実行するにはどうすればよいですか？ capacity-scheduler.xmlを使用して複数のキューを作成しましたが、12種類のストリーミング集約アプリケーションを実行する場合は12キューが必要になります。何か案が？

Answer 1

Dataproc 1.2イメージは、キューのオーバーヘッドなしにあなたが望むことを行う容量スケジューラの公正モードを有効にしています[1] [2]。

[1] https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.4/bk_yarn_resource_mgt/content/flexible_scheduling_policies.html

[2] https://community.hortonworks.com/questions/19342/yarn-fair-sharing-ordering-policy-for-capacity-sch.html