MySQLからGoogle Big Queryへ

Question

私はいくつかのDjango（Python）ベースのバックエンドWebアプリケーションを持っており、データをGoogle Big Queryに自動的に流し始めます。バックエンドのリレーショナルデータベースはMySQLですが、これらのアプリケーションは公開されておらず、Google App Engineでは公開されていません。

既にGoogle Big Dataプロジェクトの設定とともにGoogle Apps for Businessを既に使用しています。それで、私は手動でテーブルをCSVにダンプしてBig Queryにインポートできますが、Googleにこのようなデータ配信を自動化するいくつかのベストプラクティスがありますか？私はドキュメンテーションの上に注いだし、この問題に関する決定的な文章は実際には見られません。

アドバイスをいただければ幸いです。

Answer 1

を読み取るための

おかげで最近WePayは彼らの分析を実行するためにBigQueryを使用する方法についての記事のシリーズを開始しました。彼らの第二の記事は、彼らがBigQueryのにMySQLのデータを移動するためにApacheの空気の流れをどのように使用するかを浮き彫りに：

• https://wecode.wepay.com/posts/airflow-wepay

彼らは我々が唯一の設定ドリブンETLのDAGファイルを持っている」に言及したようそれは動的オーバー発生します。 200 DAG "、"最も重要な部分はselectブロックです。これは、MySQLから引き出してBigQueryにロードする列を定義します "。

詳細については、記事を参照してください。