Pythonを使用してCSVファイルをGoogle Cloud Storageにアップロード

Question

ローカルのcsvファイルをPythonのGoogle Cloudストレージバケットにアップロードする必要があります。どのPythonライブラリを使用できますか？どんなサンプルコードでも大歓迎です。

Answer 1

ライブラリをインポートする必要はありません。 あなたは、メソッドの/ URIをアップロードし、例えばクエリパラメータ

uploadType=media 

を追加するPOSTリクエストを作成することができます。

POST https://www.googleapis.com/upload/storage/v1/b/myBucket/o?uploadType=media 

は、アップロードが関連付けられているリソースを識別するための名前のクエリパラメータを追加します。

たとえば、オブジェクトの名前がmyObjectというあることを指定します

POST https://www.googleapis.com/upload/storage/v1/b/myBucket/o?uploadType=media&name=myObject 

がリクエストボディにファイルのデータを追加します。 次のHTTPヘッダーを追加します。

• Content-TypeアップロードされるオブジェクトのMIMEメディアタイプに設定します。
• コンテンツの長さ。アップロードするバイト数を設定します。チャンク転送符号化を使用している場合、この見出しは必要ありません。

例のアップロード：

POST https://www.googleapis.com/upload/storage/v1/b/myBucket/o?uploadType=media&name=myObject HTTP/1.1 
Content-Type: [csv] 
Content-Length: [NUMBER_OF_BYTES_IN_FILE] 
Authorization: Bearer [YOUR_AUTH_TOKEN] 

[DATA] 

Answer 2

あなたはパンダのライブラリを使用することができます。次の例に従ってください：

import pandas as pd 
tobq = pd.read_csv("local.csv") 
pd.io.gbq(tobq, "big_query_table_name", "project_name", private_key="big_query_private_key.json") 

Answer 3

google pythonクライアントAPIを使用してGoogle Cloudストレージにファイルをアップロードできます。

まず、次のようにapiクライアントをインストールします。

>pip install --upgrade google-api-python-client 

次に、api認証を有効にして、アプリケーションのデフォルト認証情報を取得します。

>gcloud beta auth application-default login 

以下は、アプリケーションのデフォルトの認証情報を使用してローカルファイルをGoogleクラウドストレージにアップロードするサンプルコードです。

from googleapiclient import discovery 
from oauth2client.client import GoogleCredentials 

credentials = GoogleCredentials.get_application_default() 
service = discovery.build('storage', 'v1', credentials=credentials) 

filename = 'C:\\MyFiles\\sample.csv' 
bucket = 'my_bucket' 

body = {'name': 'dest_file_name.csv'} 
req = service.objects().insert(bucket=bucket, body=body, media_body=filename) 
resp = req.execute() 

これは、ファイルをmy_bucket内にアップロードします。アップロードされたファイルの完全なGoogleストレージURLは、gs：//my_bucket/dest_file_name.csv