私は現在、私のニーズにGoogle CloudSQLを使用しています。Google CloudSQLまたはビッグデータ用BigQueryは毎秒積極的に更新されます
私はユーザーアクティビティからデータを収集しています。毎日私のテーブルの行数は約9〜1500万行増加し、毎秒更新されます。データには、ユーザーの場所(緯度経度)、タイムスタンプ、ユーザーのアクティビティや会話などの主要なパラメータが含まれます。
30日前から私のアプリを使用している緯度経度Aと緯度経度Bの間のユーザー数など、このユーザーのアクティビティから多くの洞察に常にアクセスする必要があります。
私のテーブルが毎日大きくなるので、私のテーブルの中で選択されたクエリのパフォーマンスを管理するのは難しいです。 (私は既に私のテーブルの中で、最も一般的な使用パラメータのために私のテーブルにインデックスメソッドを実装しました)
私のすべてのデータの挿入、選択、更新などはPHPでコーディングするAPIから実行されます。
私のニーズに合わせてGoogle BigQueryを使用すると、もっと良いメリットがありますか?
「はい」の場合、どうすればよいですか?静的データに使用するように設計されているため、Google BigQuery(私が間違っている場合は私を許してください)です(常に更新されるデータではない) CloudSQLデータをBigQueryにリアルタイムで接続するにはどうすればよいですか?優れている1
:(可能ならば)私は私のCloudSQLのパフォーマンスを最適化するために、別のalterntiveまたはsugget :)
感謝のためのオープンも
選択プロセスを最大化またはBigQueryのを使用するようにCloudSQLで私のテーブルを最適化しますあなた
私はBigQueryを使用しているため偏っていますが、ニーズに合ったように聞こえます。 APIを使用してリアルタイムストリーミングやバッチインポートをサポートしているため、間違いなくパフォーマンスが大幅に向上します。 –
@ElliottBrossardこんにちは、BigQueryでStreaming APIを使用してCloudSQLとデータを同期し、BigQueryを使用して選択データを処理できますか? –
代わりにアプリケーションを直接([BigQueryにデータをストリーム])(https://cloud.google.com/bigquery/streaming-data-into-bigquery)できますか?既存のデータをCloudSQLからBigQueryにコピーする場合は、[CSVにエクスポート](https://cloud.google.com/sql/docs/import-export/exporting#csv)、[CSVからインポート] (https://cloud.google.com/bigquery/loading-data#loading_csv_files)。 –