Sqoopを使ってMySQLからPIGにデータをロードする

Question

私はSqoopとPIGを試しているので、SqoopはMySQLからデータを取得してHDFSリポジトリに入れた後、 PIGを使用して達成される。その代わりに、私は豚から直接MySQLテーブルを読むことができるかどうかを知りたいと思います。あなたの答えがイエスである場合は、サンプルスクリプトを共有してください。ありがとう、私は感謝します。

Answer 1

PIGから直接MySQLにアクセスすることはできません。

• 使用Sqoopは、HDFSにデータをフェッチして、PIGスクリプトを使用して、それを分析する：

  次の2つのオプションを持っています。

• UDFを書き、MySQLとの接続を作成し、データをフェッチして分析します。これは、通常のJava JDBCコードによく似ています。

オプションbは、データが巨大である場合はひどい選択です。 要件には不明ですが、あなたはSqoopの美しさを殺しています。 Sqoopは、データベースへの複数の接続を作成してデータを高速にプルするマッパーをエレガントに作成します。

あなたはこれを正確に試している理由について詳細を共有できますか？