Azure BLOBからBigQueryにデータを連続的にパイプする方法はありますか？

Question

私はAzure BLOBストレージにたくさんのファイルを持っており、新しいファイルを絶えず入手しています。 Blobのすべてのデータを最初に取り出し、BigQueryに移動してスクリプトやジョブを実行して、そこにあるすべての新しいデータがBigQueryに送られるようにする方法があるかどうかは疑問でした。

Answer 1

BigQueryはquerying data directly from these external data sourcesのサポートを提供しています：GoogleクラウドBigtableの、Googleのクラウドストレージ、Googleドライブ。 Azure BLOBストレージは含みません。 Adam Lydickが言及したように、回避策としてAzure BlobストレージからGoogle Cloud Storage（またはその他のBigQueryサポートの外部データソース）にデータ/ファイルをコピーできます。

GoogleクラウドストレージへのAzureブロブストレージからデータをコピーするには、WebJobs（またはAzure Functions）を実行することができ、およびBLOBが作成または更新されたときBlobTriggerred WebJobは、機能を起動することができますWebJob機能で使用すると、ブロブコンテンツにアクセスすることができますし、書き込み/ Google Cloud Storageにアップロードします。

注：：このライブラリをインストールすると、クライアントコードで一般的な操作を行うことができます。Google.Cloud.Storagethis blogは、Azure関数でGoogle.Cloud.Storage sdkを使用する方法を説明しました。

Answer 2

私はこれを達成できる（Googleのインフラストラクチャ上で）何も気づいていません。

私は多分に小さなVMを設定したい：

• は、新しいコンテンツを探して、あなたのAzure BLOBストレージをスキャンします。
• 新しいコンテンツをGCS（またはローカルディスク）にコピーします。
• 定期的にLOADジョブをキックオフして、新しいデータをBigQueryに追加します。

あなたの代わりにAzureブロブストレージのGCSを使用した場合は、VMを排除し、ちょうどあなたのGCSバケットに追加された新しいアイテムにトリガーされるクラウド機能を持つことができます（あなたのブロブは、BigQueryのは知っている形であると仮定すると読み方）。私はこれが既存のソリューションの一部であると推測していますが、あなたはそれを変更したくないと思っています。