mapreduceジョブをhadoopソースコードのデータセットにどのクラスで接続しますか？

Question

私はhadoop-common/src/utilのクラスを読みましたが、ジョブをそのデータセットに関連付けるクラスは見つかりません。

どのマップリダクションジョブがどのデータセットに関連しているか、Hadoopはどのように知っていますか？

Answer 1

これは、InputFormatによって決まります。

もっと正確には、各MapReduceジョブには、org.apache.hadoop.mapreduce.InputFormat（org.apache.hadoop.mapreduce.Job#setInputFormatClass参照）の実装が割り当てられています。これは、入力分割（=入力 'データセット'）を決定するためにフレームワークによって使用されます。

あなたはあなたの仕事で使用された実装をチェック、そしてもちろん、独自の実装を設定するために、キーmapreduce.job.inputformat.classを検索することができます。