google-bigquery

0熱

2答えて

どのようにそれはかなり安いですが、私たちはこのクエリを使用することができ、テーブルが存在する場合

がチェックするためにチェックします？ where節で_PARTITIONTIMEでselectを使用することはできますが、limit句に関係なくパーティション内のすべてのデータ（存在する場合）の処理が終了します。私は多くのパーティションが存在するかどうかをチェックする必要があり、それはクエリの形式でなければならず、API要求ではありません。私は複数回実行できるcronjobを持っていますが、空の

0熱

1答えて

Apache beam KafkaIO外部データストアへのオフセット管理

私は、Apacheのビーム上でKafkaIOを使用して複数のkafkaブローカーから読もうとしています。オフセット管理のデフォルトオプションはkafkaパーティション自体です（kafka> 0.9のzookeperは使用しません）。この設定では、私はジョブ/パイプラインを再起動すると、重複しているレコードと不足しているレコードに問題があります。私が読んだことから、これを処理する最良の方法は、外部

0熱

1答えて

BigQueryでワイルドカードテーブルのクエリを高速化するにはどうすればよいですか？

私はこのクエリを実行しました。ここでは完全な SELECT _TABLE_SUFFIX table_id FROM `mydataset.*` WHERE _PARTITIONTIME = TIMESTAMP("2017-12-26") GROUP BY table_id クエリ（71.0s経過し、0 Bが処理）は、実行計画である：私はAました

1熱

1答えて

Google BQ：パラメータ化されたクエリを実行するパラメータ変数がBQテーブルのデスティネーションである場合

BQテーブルの宛先のLinuxコマンドラインからSQLを実行しようとしています。このSQLスクリプトは、複数の日付、クライアント、BQテーブルの宛先に使用されるため、BQ APIのコマンドライン呼び出し（flag --parameter）でパラメータを使用する必要があります。今、私はパラメータ化されたクエリについて学ぶためにこのリンクをたどってきました：https://cloud.google.c

1熱

2答えて

SQLカウントの間隔がN秒を超えている

SQL（Google Big Query）はSUM関数ですが、間隔をカウントする必要があることは知っています。例えば、 create table BATTLE (battleID VARCHAR(256), countryID VARCHAR(256), yearBATTLE INT); insert into BATTLE VALUES ('Battle1', 'Country1', 156

0熱

1答えて

BigQueryIO.Writeによってスローされた例外をキャッチして、出力に失敗したデータを救助する方法はありますか？

Cloud Pub/Subからデータを読み取り、それをCloud DataflowでBigQueryに書きたいとします。各データには、データ自体が保存されるテーブルIDが含まれています。のBigQueryへの書き込みに失敗した様々な要因があります。表のIDのフォーマットが間違っているが。データセットが存在しません。データセットでは、パイプラインにアクセスできません。ネットワーク障害。エ

0熱

1答えて

カスタムディメンションを使用して新しいユーザーカウントとユーザー数を取得するGoogle Big Query

カスタムディメンションの値と日付で認定された新しいユーザーとユーザー数を取得しようとしています。ここにコードがあります。しかし、私はGoogleアナリティクスとのデータの結びつきを得ることができませんでした。私は問題はUNNESTが重複を作成し、total.newVisitsが異なる粒度であることだと思います。ありがとうございました！ SELECT PARSE_DATE('%Y%m%d

0熱

1答えて

BigQueryはFirebaseとどのように統合されますか？

私はFirebaseを使い始めて、集計などのようなより柔軟なクエリサポートが必要になり、BigQueryがその要件を満たすことができる可能性があることがわかりました。私は疑問に思っていますが、これはどのようにしてボンネットの下で動作しますか？ Firebaseで毎回データが変更されると、BigQueryに複製されますか？ BigQueryはFirebaseから直接クエリを実行しますか？レプリケ

1熱

1答えて

Googleのビッグクエリ：複数の譲受人

がある場合、私の目標は、1行があり、標準SQLを使用して、Googleのビッグクエリの特許・公開data.patents.publications_201710テーブルからテーブルを作成することです譲受人名と調和譲受人名を関連付けますpublication_numberのassigneeとassignee_harmonized.nameは、複数の担当者を持つレコードに対してpublication_