リアルタイムでMysqlをBigqueryに同期させる方法は？

Question

現在、私は最初にテーブルを削除し、MySQLからBigqueryにテーブルをアップロードするいくつかのスクリプトを持っています。そしてそれは失敗した多くの時間。プラス1日に1回だけ実行されます。スケーラブルでリアルタイムなソリューションを探しています。あなたのヘルプははるかに高く評価されます:)

Answer 1

をエアフローを使用して、彼らはBigQueryのに自分のMySQLデータベースを同期する方法彼らは詳細Wepay、からの投稿のこれらのシリーズを読む：

• https://wecode.wepay.com/posts/wepays-data-warehouse-bigquery-airflow
• https://wecode.wepay.com/posts/airflow-wepay
• を（
  ：第3回1）は、BigQueryの約要約（引用）として

です

• 認証、接続、DAGをセットアップします。
• MySQLからプルしてBigQueryに読み込む列を定義します。
• データの読み込み方法を段階的または完全に選択します。
• 重複除外。