Oozie Sqoopアクション

Question

oozieを使用して実行するための10 sqoopコマンドがあります。私はsqoopアクションを10回書くか、またはsqoopコマンドをファイルに入れてsqoopアクションで呼び出すことができるでしょうか？前もって感謝します。

Answer 1

それは、ファイルにsqoopコマンドを入れて、コースを外れ、その可能性、はい sqoopアクションで

それを呼び出すことが可能です。すべてのsqoopコマンドをシェルファイルに保存してシェルアクションを実行することができます。

あなたはそれを行う必要がありますか？おそらくない。これらのタスクが互いに独立している場合、それらをシェル・アクションとして実行すると、oozieのスケーラブル/パラレル機能を利用できず、すべてのコマンドが順番に実行されます。一方で、これらのタスクが互いに依存している場合、何らかの理由でコマンドの1つが失敗した場合、どのように実行を制御しますか。

いくつかのsqoopコマンドを並行して実行することができますが、他のコマンドは前のコマンドの結果に依存している場合があります。物事はかなり迅速に複雑になりますよね？

これらの理由から、私はそれらがお互いに独立していれば、それらを個別の行動として分離することをお勧めします。何度も繰り返す必要がある場合はコーディネーターを作ってください。