データフレームのBigQueryテーブル

Google Datalabノートブックを使用してゲノムデータ用のbigQueryテーブルを作成し、列の上限に達したいと考えています。テーブルはpandas DataFrameから作成されます。データフレームのBigQueryテーブル

# to communicate with Google BigQuery 
from pandas.io import gbq 
gbq.to_gbq(df_pgp_input, 'pgp_orielresearch.pgp_PIK3CA_all_ml', 'speedy-emissary-167213', chunksize=10000, verbose=True)

GenericGBQException：理由：無効、メッセージ：あまりにも多くのフィールド：12427

出典

2017-06-28 eilalan

docsで述べたように、BigQueryの中に合計列の最大制限は10000

ありますこれらの制限値に達することがないので、ARRAYs and STRUCTsを使用してデータを整理すると、ほとんどの場合、なぜそれが良いのでしょうか。

出典

2017-06-28 17:03:50

悲しいことに、構造にかかわらず、葉のフィールドの合計に10000制限があるので、STRUCTを追加することは役に立ちません。 –

こんにちは@MoshaPasumansky、私はOPが各列のSTRUCTSでARRAYを作成し、それがうまくいくかどうかいくつかのキーで集計するのだろうかと思います。私がここでテストしたところでは、構造体の内部に10kのキーを作成する代わりに、各行ごとに構造体を持つ配列を作成するのではなく、100k STRUCTのARRAYを非常に簡単に作成できます。 –

データフレームのBigQueryテーブル

答えて

関連する問題