2016-12-30 19 views
2

sqoop.apache.orgによると、Sqoop 2は機能が完了していないため、運用システムでは使用しないでください。十分なだけでは、テスト環境でSqoop 2の新機能をテストしたい人もいます。Sqoop 2はSqoop 1が提供していないことを何に提供しますか?

ClouderaはSqoop 1とSqoop 2(https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cdh_ig_sqoop_vs_sqoop2.html)の機能比較を行っていますが、ページによれば、Sqoop 2はSqoop 1も提供していないことを示しています。

だから、なぜ誰かが現在の形式でSqoop 2を使用していますか? Sqoop 1よりも利点がありますか?そうでない場合、それはなぜ利用可能ですか?前もって感謝します!

答えて

2

Sqoop2安定版リリースに期待される機能の一部:

  1. 既存のコマンドラインに追加となりGUIを使用して簡単にできます。
  2. 公開されている共有パスワードのようなセキュリティ修正は、修正されるべきです
  3. より良いログを使って簡単にデバッグできます。
  4. JDBCモデルに従わないコネクタへのサポートを提供します。

現在、sqoop 2の安定版はありません。しかし、最新のプロジェクトを構築して製品をテストし、開いているプロジェクトにコミットすることもできます(興味があれば)。


は参照してください:

Sqoop2 proposal

Features and releases

+0

答えと出典をありがとう、私は機能のリストのために私が探しているものに最も近いあなたの答えを受け入れました。しかし、私はそれらが最終的な機能だと思う - あなたはSqoop 2に現在どの機能が存在するかを精緻化できますか?ありがとう! –

+1

Hbaseコネクタ(KiteConnector)のサポート、実行エンジン(MR)およびKerberosサポートの更新。私たちは安定したリリースを一度だけ完了したリストを知っています。 [Sqoopロードマップ](https://cwiki.apache.org/confluence/display/SQOOP/Sqoop+2+Roadmap) –

0

Apache Sqoopは、クライアント上のコネクタ/ドライバとともにSqoopのインストールが必要なクライアントモデルを使用します。 Sqoop2は、コネクタ/ドライバがSqoop2サーバにインストールされているサービスベースのモデルを使用します。また、すべての設定はSqoop2サーバで行う必要があります。

MRの観点からは、SqoopがMap onlyジョブを送信し、Sqoop2がMapReduceジョブを送信してマッパーがソースからデータを転送し、Reducersが指定されたソースに従ってデータを変換する。これは、クリーンな抽象化を提供する。 Sqoopでは、輸送と変換の両方がMappersによってのみ提供されました。

Sqoop2のもう1つの大きな違いは、セキュリティの観点です。管理者は、ソースおよびターゲットへの接続を設定し、オペレータユーザは既に確立された接続を使用するので、オペレータユーザは接続の詳細を知る必要はない。また、オペレータには必要に応じて一部のコネクタにのみアクセスできます。

+0

MapとMapReduceの違いを含む回答をありがとう。それは、抽象概念がより洗練されているという良い点です。 –

2

だけで簡単なメモとして:Clouderaによると

ません(2017年11月現在) te:Sqoop 2は廃止予定です。 ClouderaはSqoop 1の使用を推奨しています。

+0

これは質問に対する回答ではありません。批評をしたり、著者の説明を求めるには、投稿の下にコメントを残してください。 - [レビューから](/レビュー/低品質の投稿/ 18664928) – diceler

関連する問題