bq.pyページング結果がありません

Question

bq.pyのラッパーを作成していますが、結果セットが100k行を超える場合に問題があります。これはこれまでうまくいきました（私たちはGoogle BigQuery Incomplete Query Replies on Odd Attemptsと関連する問題を抱えていました）。おそらく私はdoc pageで説明されている限界を理解していないでしょうか？例えば

：

#!/bin/bash 

for i in `seq 99999 100002`; 
do 
    bq query -q --nouse_cache --max_rows 99999999 "SELECT id, FROM [publicdata:samples.wikipedia] LIMIT $i" > $i.txt 
    j=$(cat $i.txt | wc -l) 
    echo "Limit $i Returned $j Rows" 
done 

利回り（書式設定の4行がある注意してください）：私たちのラッパーで

Limit 99999 Returned 100003 Rows 
Limit 100000 Returned 100004 Rows 
Limit 100001 Returned 100004 Rows 
Limit 100002 Returned 100004 Rows 

、我々は直接APIにアクセス：

while row_count < total_rows: 
    data = client.apiclient.tabledata().list(maxResults=total_rows - row_count, 
               pageToken=page_token, 
               **table_dict).execute() 

    # If there are more results than will fit on a page, 
    # you will recieve a token for the next page 
    page_token = data.get('pageToken', None) 

    # How many rows are there across all pages? 
    total_rows = min(total_rows, int(data['totalRows'])) # Changed to use get(data[rows],0) 
    raw_page = data.get('rows', []) 

私たちは、この場合トークンを取得することを期待しますが、返されるものはありません。

Answer 1

申し訳ありません申し訳ありませんが、あなたに戻ってくるのは少し時間がかかりました。

私はサーバー側に存在するバグを特定することができました。あなたはJavaクライアントとPythonクライアントでこれを見ることになります。私たちは今週中に修正を予定しています。クライアントはすぐに正しく動作するようになります。

私はあなたがこれを既に知っているかどうかは分かりませんが、PythonからAPIにアクセスするために使用できる完全なスタンドアロンのPythonクライアントがあります。私はあなたがbq.pyの一部として配布されているクライアントよりもずっと便利だと思っていました。 https://developers.google.com/bigquery/client-libraries

Answer 2

私は、あなたが見ている動作をbqコマンドラインで再現できます。それはバグのようですが、私はそれを修正するために何ができるかを見ていきます。

あなたが照会しているデータについて気付いた点は、idフィールドのみを選択し、100,000周程度の行をキャッピングすることでした。これにより、約1MM相当のデータが生成されるため、サーバーは結果に改ページしない可能性があります。大量のデータを選択すると、1回の応答ですべての結果を返すことができなくなるため、サーバーのページ付けが強制されます。あなたがsamples.wikipediaの100,000行に対して*を選択した場合は、〜50Mのバックを得ることになります。これは、ページネーションが起こるのを見るのに十分なはずです。

pythonクライアントから返ってきた結果が少なすぎるか、samples.wikipediaクエリに対してpage_tokenが返されていないことに驚いていますか？