ローカルマシン上で実行されているpysparkからbigqueryへの資格情報の受け渡し方法

Question

ローカルに動作するpysparkクラスタがあり、大きなクエリからデータをロードしたい。 私はサーバー間のjson資格情報ファイルを生成しました これを私のコードにどのように渡すのですか？ TIA

Answer 1

ツールからGoogleのAPIと対話するためのコードを書くときに、使用するプロジェクト内でサービスアカウントの資格情報を生成し、ダウンロードして、その資格情報でクライアントを初期化します。

私はoauth2client.client.SignedJwtAssertionCredentialsを使用して資格情報を作成し、credentialsキーワードパラメータを使用してこれらの資格情報をapiclientコンストラクタに渡します。次のようなものがあります。

key_bytes = ... # read your downloaded key from somewhere 
bigquery_service = discovery.build(
    'bigquery', 'v2', 
    credentials=oauth2client.client.SignedJwtAssertionCredentials(
     '1234567890@developer.gserviceaccount.com', 
     key_bytes, 
     ['https://www.googleapis.com/auth/bigquery'], 
     private_key_password='notasecret', 
     user_agent=_CLIENT_USER_AGENT)) 

bigquery-serviceを使用するたびに、資格情報が渡されます。