bzip2のファイルをストレージにアップロードしてbigqueryで使用できますか？

Question

bz2形式のファイルがたくさんあります（それぞれ10GB）。私はそれらをアップロードして、いくつかのクエリを実行したいと思います。大きなクエリはgzipと同じようにbzipを "理解"していますか？私はそれらを変換する必要がありますか？アップロードするにはどうすればいいですか？

Answer 1

ファイルがCSV形式またはJSON形式であると仮定します。 BigQueryのドキュメント（https://cloud.google.com/bigquery/preparing-data-for-loading）では、gzipの圧縮のみがサポートされています。たとえbz2がサポートされていても、10GBサイズの圧縮ファイルを使用することはお勧めできません。問題は、圧縮されていないファイルとは異なり、BigQueryを分割することができず、10GBファイル全体を処理する必要があります。これは非常に遅いでしょう。