Hadoop MapReduceを特定のファイル拡張子に限定する

Question

特定のファイル拡張子でのみ実行されるクラスタでMapReduceジョブを実行しようとしています。私たちはクラスタ上にある異質なデータの束を持っています。この特定の仕事のために私は.jpg上で実行したいだけです。これをマッパーで制限することなくこれを行うことができる方法はありますか？これは、あなたが仕事を実行するときにこれが何か簡単でなければならないようです。私は、hadoop fs JobName /users/myuser/data/*.jpg/users/myuser/outputのようなものを考えています。

Answer 1

あなたの例は書かれたとおりに動作するはずですが、グロブ文字列 "/ users/myuser/data"を解決するので、setInputPaths（Job、String）メソッドを呼び出す入力書式で確認するとよいでしょう。 /*.jpg "を/ users/myuser/data内の個々のjpgファイルに追加します。