BigQueryの.avroファイルからテーブルを作成するときに「resourcesExceeded」エラーが発生する

Question

Google Cloud Storageに約100MBの.avroファイルをアップロードしました。 800MBの.csvファイルから変換されます。

BigQueryのWebインターフェイスで、このファイルからテーブルを作成しようと、私は数秒後に次のエラーを取得する：

script: Resources exceeded during query execution: UDF out of memory. (error code: resourcesExceeded) 
Job ID audiboxes:bquijob_4462680b_15607de51b9 

私はBigQuery Quota Policyをチェックし、私は私のファイルは、それを超えていないと思います。

複数の小さな.avroファイルを取得するには、元の.csvファイルを分割する必要がありますか？

ありがとうございます！

Answer 1

このエラーは、パーサーが許可されている以上のメモリを使用していたことを意味します。私たちはこの問題の修正に取り組んでいます。その間、Avroファイルで圧縮を使用した場合は、削除してみてください。より小さなデータブロックサイズを使用することも役に立ちます。

また、10MB以下のような小さなAvroファイルに分割することも役に立ちますが、上記の2つの方法は、あなたのために働く方が簡単です。