BigQueryストリーミングインサートの予想される「取り込み」時間はどのくらいですか？

Question

これは、this year-old issueの繰り返しのようですが、BQチームがストリーミングの挿入に時間がかかる理由をさらに深く理解しているのだろうかと思います。 （私は単なる9Kの行のために1時間に上っています）

私がやっている唯一の「珍しい」ことは、python-pandasのto_gbq機能を使用しているかどうかわかりません。私は実際に@felipehoffaとこのアプローチの書き上げに協力しました（https://github.com/pmueller1/s3-bigquery-conga参照）。私はif_exists = 'append'ディレクティブを使用していますが、最初のtry（テーブルがまだ作成されていない場合）から遅延が発生しています。それが役に立つかどうかは分かりませんが、私はそこに投げ捨てると思っていました。

Answer 1

私はこの回答を自分自身で投稿する必要があります。私たちはストリーミングで8時間以上のインジェスト時間を繰り返していたので、安価で信頼性の高い「ロード」機能に切り替えました。私はかなり忙しいBigQueryのユーザーですが、まだ準備ができていないストリーミングについては何かがあります。私たちはそれが何であるかに私たちの指を置くことはできませんが、それが動作するとき、それは素晴らしい作品です。そうしないと、あなたのデータを利用できるようになるまで待つ時間が長くなりすぎます。起こるケースを区別できるようになるまで、私たちは今のところそれをはっきりと説明しています。