スパーク段階あたりのメモリの設定

Question

異なるスパーク段階で異なる量のメモリを使用する方法はありますか？

私は本当に記憶が空いていて、たくさんの記憶を必要としない集団です。今、私の仕事は、仕事の一生を通して、記憶が飢えている段階を満たすために、その時間のほんの一部だけ多くの記憶を必要とするにもかかわらず、多くの記憶を確保しています。

Answer 1

潜在的に、動的エクゼキュータの割り当てを有効にして、メモリを大量に消費するステージではパーティショニングを非常に高くすることができます。残念ながら、YARNはコンテナの動的なサイズ変更を受け付けません。ダイナミックアロケーションでは、メモリを大量に消費する場合には、たくさんの労働者をスピンアップさせることができます。