0

バケツに格納されたすべてのデータ(例:/bucket/project/odate/odate_cust.txt)をDAYで分割されたBig Queryのテーブルにロードしたかったのですか? 1つずつファイルを読み込んで読み込む必要がありますか、複数のパーティションに直接読み込むことはできますか?HiveのようにBig Queryで動的パーティションを作成できますか?

**bq mk --time_partitioning_type=DAY market.cust custid:string,grp:integer,odate:string** 

答えて

1

現時点では、対応するパーティションにそれを置くために、各負荷のパーティション(using the $ decorator syntax)を指定する必要があります。それ以外の場合、BigQueryはロードジョブのUTC時刻を使用してパーティションを選択します。自分のフィールドでパーティショニングを行うことができる今後の機能があります(パーティショニングできるファイルにTIMESTAMPまたはDATEフィールドがあると仮定しています)。しかし、彼らはまだそれをロールアウトしていない(すぐにアルファになる)。その進行状況を追跡することができますhere

急いでいる場合は、いくつかの回避策があります(たとえば、パーティション化されていない表にすべてをロードしてから、SQLまたはCloud Dataflowを使用して後でパーティション化するなど)。見てくださいhere

最後に、ファイル名にパーティションの日付/日が含まれている場合は、ファイルの名前を見て、複数の読み込みジョブを実行してデータを対応するパーティションに入れるテーブルに

+0

返信いただきありがとうございます。つまり、データセットに存在する他の列を持つパーティションの機能が存在することを意味します。 – user3858193

関連する問題