Google Big Queryでは、ビューに対してクエリを実行すると、それに答えるためにスキャンされたデータの量が表示されます。 (これに応じたBQ請求書)。Google Big Queryデータ測定
しかし、プロジェクトに存在する多くのビューを問い合せることなく、BQ環境でどのくらいのデータを保持しているかを確認する方法はありますか?私の目標は、毎日BQのデータ量を測定することです。以下
Google Big Queryでは、ビューに対してクエリを実行すると、それに答えるためにスキャンされたデータの量が表示されます。 (これに応じたBQ請求書)。Google Big Queryデータ測定
しかし、プロジェクトに存在する多くのビューを問い合せることなく、BQ環境でどのくらいのデータを保持しているかを確認する方法はありますか?私の目標は、毎日BQのデータ量を測定することです。以下
希望は
あなたが組合複数のデータセットにこのロジックを拡張することができますし、
#legacySQL
SELECT table_id,
DATE(creation_time/1000) AS creation_date,
DATE(last_modified_time/1000) AS last_modified_date,
row_count,
size_bytes,
CASE
WHEN type = 1 THEN 'table'
WHEN type = 2 THEN 'view'
WHEN type = 3 THEN 'external'
ELSE '?'
END AS type,
TIMESTAMP(creation_time/1000) AS creation_time,
TIMESTAMP(last_modified_time/1000) AS last_modified_time,
dataset_id,
project_id
FROM [project.dataset1.__TABLES__],
[project.dataset2.__TABLES__],
[project.dataset3.__TABLES__],
[project.dataset4.__TABLES__],
[project.dataset5.__TABLES__]
のDependsに興味があるものは何でも集約やってあなたにすばやく特定のデータセットのためにあなたの在庫を確認する方法についてのアイデアを与えるだろうクエリの上のある時点で(その中のテーブルの数に関して)データセットのサイズが不平を開始する可能性があります。統計情報をバッチする必要があるかもしれません。これが役立つことを願って
これは構造化された方法で、私はトップレベルのプロジェクト名を持っており、その下に私はビューID(8桁の数字)の束を持っています。各View IDの下には、一連のga_sessionテーブルがあります。私はこのプロジェクトを継承し、どのView IDが休止状態であるかを知りたい、つまり毎日新しいga_sessionテーブルの追加を停止しました。私は上記をデータセットの代わりにワイルドカード文字に置き換えることに興味がありました。これはできますか?私は試した *。 –
@ MarkGinsburg - あなたはデータセットにワイルドカードを適用できません。あなたはあなたが望むものを得るために上記の質問の組合をすることができます。調整された答えを見る –
各テーブルのデータセットまたはストレージサイズのサイズを取得したいですか? – Tushar
ミハイルの答えを補うために、この素晴らしいツールもあります。http://bqdu.info/ –
@Tushar、目標はデータのサイズを日々測定することです。関連する問題として、プロジェクトに格納されているすべてのオブジェクトを表示するクエリがありますか?私は左のUI(私のケースでは8桁の整数識別子の束)でそれらを見ることができますが、プログラムされたクエリを使用してそれらを取得できるかどうか疑問に思っていました。 –