google dataprocを管理するpreemptible-workers永続的なディスクサイズ

Question

私はgoogle dataprocを使って作成したクラスタでjupyterを使用しています。

クラスタの "サイズ"（マシンタイプ、ブートディスクサイズ、ワーカー数、...）を私のニーズに合わせて変更しようとしましたが、かなりうまく動作しています。

主な問題は、プリエンプティブワーカーの永続ディスクサイズを変更する方法がないことです。

私は、このコマンドを使用しています：

gcloud dataproc clusters create jupyter --project <my_project> --initialization-actions gs://dataproc-initialization-actions/jupyter/jupyter.sh --num-preemptible-workers 0 --master-boot-disk-size 25 --worker-boot-disk-size 10 --worker-machine-type n1-standard-1 --worker-boot-disk-size 10 

は、私が「 --worker-boot-disk-size 10」オプションはプリエンプティブなものにも適用されていることを望んだが、それはしませんでした。

したがって、プリエンプティブワーカーのブートディスクサイズを変更する方法はありますか？

さらに、Googleでは、プリエンプティブワーカーの永続ディスク使用量について請求しますか？

Answer 1

ベータdataproc gcloudチャネルは、あなたが望むように聞こえる--preemptible-worker-boot-disk-sizeを提供します。例えば

：

gcloud beta dataproc clusters create ... --preemptible-worker-boot-disk-size 500GB 

はここに発表：september_16_2016リリースのよう https://cloud.google.com/dataproc/release-notes/service#july_1_2016

を、--preemptibleワーカーブートディスクサイズは、任意のプリエンプティブVMを作成することなく使用することができます。 https://cloud.google.com/dataproc/docs/release-notes/service#september_16_2016

Answer 2

注意： クラスタを作成している間だけ "--preemptible-worker-boot-disk-size"を使用できます。 は、クラスタを作成した場合、その後、あなたは、永続ディスクサイズの100ギガバイトを持っています

gcloud dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50 

新しいプリエンプティブistancesを使用しています。あなたがしようとした場合 ：

gcloud dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10 

または

gcloud beta dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10 

それは動作しません。