Hadoop（オンプレミス）からAzure Data Lakeにデータをロードするさまざまなアプローチ

Question

8時間ごとにHadoop（オンプレミスHortonworksクラスタ）からAzure Data Lakeにデータをロードする必要があります。ソリューションを実装する際にここで試すことができるさまざまなアプローチを教えてください。

1. ADF [パイプラインアクティビティを作成してスケジュールすることができます] それ以外は何ですか？

おかげで、 Aravind

Answer 1

我々はthis linkで高レベルのオプションを提供してきました。検索：「オンプレミスまたはIaaS Hadoopクラスタに格納されたデータ」 1.移動するデータの量、ファイルの数、ファイルのサイズなど サイズが小さいファイルは転送に時間がかかります。 1.移動するデータの量、ファイルの数、ファイルのサイズなど 2. onpremからAzureへのネットワーク接続 ExpressRouteをご利用になれば、より良い経験ができます。パブリックなインターネット接続しか持たない場合は、使用するツールではなくネットワークによってボトルネックになります。

ありがとう、 Sachin Sheth Azure Data Lakeプログラムマネージャー。