DataProcクラスターのGoogle Cloud Sdk

Question

google-dataprocクラスターのpub-subなどpython google cloud apisを使用/インストールする正しい方法は何ですか？たとえば、クラスタでzeppelin/pysparkを使用していて、pub-sub apiを使用したい場合、どうすればよいですか？

デフォルトのクラスタプロビジョニング時にインストールされているものとインストールされていないものが不明で、Google Cloud API用のPythonライブラリをインストールする必要があるかどうかについてはわかりません。

さらに、スコープ/認証が設定されている可能性があります。 明確にするには、apisをローカルで使用できますが、クラスタからapisにアクセスできるようにする最もクリーンな方法はわかりません。不要な手順を実行したくありません。

Answer 1

一般的には、JavaのGoogle Cloud Storage connectorまたはBigQuery connectorやPySparkのRDDメソッドを使用してJava実装に自動的に委任しない限り、さまざまなGoogle API用の独自のクライアントライブラリを用意する必要があります。

--scopes https://www.googleapis.com/auth/pubsubおよび/または--scopes https://www.googleapis.com/auth/cloud-platformを使用するだけで、DataprocクラスタのVMのサービスアカウントは、デフォルトのインストール済み資格情報フローを使用してPubSubを使用するように認証できます。