Apache Sparkを使用して1つのDbから別のDbにデータを転送するプロセス

Question

&を抽出し、SQLServerの複数のインスタンスから100以上のテーブルをOracleの多数のインスタンスに毎日並行してロードするETLプロセスを作成する必要があります。基礎。私はこれを達成するためにJavaで複数のスレッドを作成できることを理解していますが、それらがすべて同じマシン上で実行されている場合、このアプローチは拡張されません。もう1つのアプローチは、ec2インスタンスの束を得ることである可能性があります&別のec2インスタンス上の各インスタンスのテーブルの転送を開始します。しかし、このアプローチでは、プールにマシンを追加/削除することで "弾力性"を守る必要があります。

何とか私はこれを達成するために "Amazon EMRのApache Spark"を使うことができると思いますが、これまでSparkを使ってHDFS/Hiveのデータを処理していました。 DbはSparkの良いユースケースですか？そうですか？

Answer 1

あなたの最後の質問最低料金：「別のDBへ1 DBからのデータを転送すると、スパークのために良いユースケースであることを確認していない場合は、」 ：

それは、JDBCスパークコネクタの制限の範囲内、です。更新に欠けているサポートや、テーブルを読むときの並列性（数値列でテーブルを分割する必要がある）などのいくつかの制限があります。

IOコストとRDBMS全体のパフォーマンスを考慮すると、FIFOモードでジョブを実行することは良い考えのようには聞こえません。 1/xのクラスタリソースが必要な構成でジョブのそれぞれを実行依頼することができます。したがって、xテーブルが並行して処理されます。