Dataprocノードの設定

Question

私はgoogleのdataprocクラスタが初期化アクションを処理するために備えられていることを理解しています。これはすべてのノードの作成時に実行されます。しかし、これは小規模なアクションでは妥当であり、大規模なパイプラインに依存する多数の依存関係とソフトウェアを持つノードの作成ではうまくいかないでしょう。つまり、ノードをカスタムイメージとしてロードしたり、ノードが作成された後にイメージがスピンアップして、すべてのインストールが行われているので、何度も何度もダウンロードする必要はありません。

Answer 1

良い質問です。

現在、initialization actionsは、作成時にClustersにインストールする標準的な方法です。依存関係がたくさんある場合や、ソースからコンパイルするなどの作業を行う必要がある場合は、これらの初期化アクションに少し時間がかかることがあります。

私たちは長期的なロードマップのカスタマイズを処理するためのより良い方法をサポートしています。これは、カスタム画像または他の何らかの仕組みによるものでもよい。

一時的に、スケーリングクラスタのアップ/ダウンは、カスタマイズの一部を適切に保ち、ブート時間とクラスタの永続性の差を分割したい場合には、いくらか軽減されます。同様に、プリコンパイルされたパッケージがある場合、それらは常に時間を節約します。