スパーク - 実行

Question

中変化並列Iは、2つの部分に分割されたジョブを持っている：

• 最初の部分は、HBaseのからデータを取得
• スパークを用いseoncd部分が

重いCPU集中MLアルゴリズムを計算します

問題は、エグゼキュータ/コアの数が多い場合、HBaseクラスタが過度に積極的にクエリされ、これにより生産が不安定になる可能性があることです。 エグゼキュータ/コアの数が少なすぎると、MLの計算に時間がかかります。

起動時にエグゼキュータおよびコアの数が設定されるため、ジョブの最初の部分のエグゼキュータ番号を減らす方法があるかどうかを知ることができます。

私は明らかに、Hadoopがこれらの2つのステップの間でのマンダリ・ディスクのシリアライゼーションのような2つの別々のジョブを実行しないようにしたいと思います。

おかげであなたの助け

Answer 1

のために私はdynamic allocationあなたが探しているものであると思います。これはスパークストリーミングでも使用できます。

データの取り込みとデータ処理のバランスを取るために、RDDサイズを少しでも使わなければならないかもしれないが、実際の使用状況に応じて、それは本当に難しいかもしれない。