2017-11-14 1 views
1

JsonローダーとJson serdeを使ってPig、hive、sqoopを使ってhadoopの構造化データや半構造化データをインポートして分析する方法は分かっていますが、ビデオやオーディオ、画像などの非構造化データをインポートする方法と、あなたが大きな助けになる非構造化データを分析するユースケースがあれば、簡単なステップバイステップで親切に説明してください。ありがとう!Hadoopでビデオやオーディオ、画像をインポートするにはどうすればいいですか。

答えて

0

Hadoopは小さなファイルではうまく動作しないため、バイナリファイルを少数の大きなファイルにグループ化することができます(小さなファイルが大量にあるので を処理しないようにする)。

これを実行するには、HDFSに集約して保存するカスタムUDFを使用して、バイナリファイル(イメージ、オーディオ、ビデオなど)をシーケンスファイルに変換することができます。

このトピックに関するいくつかのデザインパターンは、Pig Design Patternsで提供されています(第2章を参照)。

https://www.packtpub.com/mapt/book/big_data_and_business_intelligence/9781783285556

いくつかのコードsnipetsはgithubの上でご利用いただけます。

https://github.com/pradeep-pasupuleti/pig-design-patterns/blob/master/Chapter2

は、このヘルプを願っています!

+0

本当にありがとうございました。本当に助かりました。 – user8167344

関連する問題