dataprocで作業者のcpu/ram/diskをどのように動的にアップグレードしますか？

Question

google dataprocでデフォルト設定（4つのvCPU、15GB RAM）でクラスタを作成しました。 複数の豚ジョブを処理した後、クラスターに2〜3の正常でないノードがありました。 私はワーカーVMのvCPU（4〜8 vCPU）、RAM（15GB〜30GB）、ディスクをアップグレードしました。 しかし、Hadoop Webインターフェイスでは、ワーカーノードのハードウェアが変更されていないことが示されていましたが、vCPU/Ram/Diskの元のマウントがまだ示されていました。

dataprocでワーカーのCPU/RAM /ディスクを動的にアップグレードするにはどうすればよいですか？

ありがとうございました。

Answer 1

Dataprocには、稼働中のクラスタでワーカーをアップグレードする機能がありません。アップグレードするには、クラスタを再作成することをお勧めします。また、gcloudコマンドを更新してクラスタを介して余分なワーカーを追加することもできます。

各ワーカーインスタンスを停止してアップグレードして再起動することで、ワーカータイプをアップグレードすることができます。しかし、異なる容器サイズに合わせて変更する必要のある、多数のハープ/スパーク特性があります。