3
私のPCから区切られたファイルをBigQueryにアップロードしています。私はこれを行うことができます二つの方法:クラウドストレージへCloud Storageにアップロードするよりも速くBigQueryに直接アップロードしていますか?
- アップロード、その後、直接
をBQするBQ
私のPCから区切られたファイルをBigQueryにアップロードしています。私はこれを行うことができます二つの方法:クラウドストレージへCloud Storageにアップロードするよりも速くBigQueryに直接アップロードしていますか?
をBQするBQ
いいえ、いずれの方法でも同じインフラストラクチャを使います。
BQに直接アップロードする利点は、よりシンプルであることです.1つのサービスとのやりとりだけです。
GCSにアップロードする利点は、より柔軟性があるということです。ロードジョブが失敗した場合(スキーマ不良など)、データのコピーを他のシステムにロードするなど、他の理由がある場合は、アップロードジョブを繰り返さずに繰り返すことができます。
私はそう思っていましたが、私は二重チェックしたいと思いました。 – cshin9
データセットが大きい場合は、データを再度アップロードせずにロードジョブを繰り返すことができるため、最初にGCSにロードすることができます。 –