2017-07-10 13 views
1

私はこの解決策を試しましたMigrating from non-partitioned to Partitioned tables、しかし、私はこのエラーが発生します。 "エラー:100MBを超える行を照会できません。クエリを使用してBigQueryの非パーティションテーブルからパーティションテーブルを作成するにはどうすればよいですか?

ジョブID:sandbox-kiana-analytics:bquijob_4a1b2032_15d2c7d17f3。

+0

こんにちは、歓迎、StackOverflowへ。ヘルプページ、特に[ここではどのトピックについて聞かせていただけますか?](http://stackoverflow.com/help/on-topic)と[質問しないでください。」](http://stackoverflow.com/help/dont-ask)。さらに重要なことは、[Stack Overflow question checklist](http://meta.stackexchange.com/q/156810/204922)をお読みください。また、[最小、完全、および検証可能な例](http://stackoverflow.com/help/mcve)についても知りたいことがあります。 – herrbischoff

答えて

1

Vidhya、

私は内部的にあなたがBigQueryのに送られたクエリを見て、あなたのクエリの一部として、あなたは1行の日のためにすべてのデータを置くことARRAY_AGGを()を使用していることがわかります。この結果、非常に大きな行が発生し、最終的にBig Queryの行あたりの100MBの制限を超えます。これは、データを分割するにはかなり複雑で非効率的な方法です。代わりに、BigQuery(example here)が提供するデータ分割の組み込みサポートを使用することをお勧めします。この方法では、空の日付パーティション表を作成し、毎日の日付区画データをその表に追加することができます。

+0

あなたの分析をありがとう!現在、2 TBのデータがあるので、このようなクエリを実行すると、より多くの費用がかかります。データをGCSにエクスポートすることでこれを行う最も安い方法ですが、問題はすべての日付がパーティション化されたGCSにエクスポートできます。 –

関連する問題