bigqueryからpythonに大きなデータをロード

Question

from google.cloud import bigquery as bq 
import google_auth_oauthlib.flow 

query = '''select ... from ...''' 

bigquery_client = bq.Client() 
table = bq.query.QueryResults(query=query,client=bigquery_client) 
table.use_legacy_sql = False 
table.run() 

# transfer bigquery data to pandas dataframe 
columns=[field.name for field in table.schema] 
rows = table.fetch_data() 
data = [] 
for row in rows: 
    data.append(row) 

df = pd.DataFrame(data=data[0],columns=columns) 

私は1000万以上の行をPythonにロードしたいが、数週間前にうまくいきましたが、現在は10万行しか返しません。誰でもこれを行うための信頼できる方法を知っていますか？

Answer 1

は、私はここにこのコードをテストしていないキャップで3万行が適用されて持って来ることができる：

import os 
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = 'path/to/key.json' 

from google.cloud.bigquery import Client 

bc = Client() 
query = 'your query' 

job = bc.run_sync_query(query) 
job.use_legacy_sql = False 
job.run() 

data = list(job.fetch_data()) 

が、それはあなたのために働くのか？