私は単純なHadoop mapreduceプログラムを構築しようとしています。私は周りのサンプルコードをチェックアウトし、自分自身を構築しようとしました。私は次のgradleスクリプトを作成し、インストールされた依存関係を見るとMapperまたはReducerはありませんでした。 org.apache.hadoop.mapもパッケージを作成しません。 (私はこれらを知っている私は、これらの10件のHadoopの依存関係のうち、少なくとも7を必要とするつもりはないけど、私はorg.apache.hadoop.mapreduceパッケージを持っているこれらの依存関係のどれか分からないgradleを使った簡単なMapReduceプロジェクトの構築:Hadoopの依存関係にMapperとReducerはありません
group 'org.ardilgulez.demoprojects'
version '1.0-SNAPSHOT'
apply plugin: 'java'
repositories {
mavenCentral()
}
dependencies {
testCompile group: 'junit', name: 'junit', version: '4.11'
compile group: 'org.apache.hadoop', name: 'hadoop-common', version:'2.7.3'
compile group: 'org.apache.hadoop', name: 'hadoop-hdfs', version: '2.7.3'
compile group: 'org.apache.hadoop', name: 'hadoop-yarn-common', version: '2.7.3'
compile group: 'org.apache.hadoop', name: 'hadoop-minicluster', version: '2.7.3'
compile group: 'org.apache.hadoop', name: 'hadoop-mapreduce-client-core', version:'2.7.3'
compile group: 'org.apache.hadoop', name: 'hadoop-mapreduce-client-jobclient', version: '2.7.3'
compile group: 'org.apache.hadoop', name: 'hadoop-mapreduce-client-app', version: '2.7.3'
compile group: 'org.apache.hadoop', name: 'hadoop-mapreduce-client-shuffle', version: '2.7.3'
compile group: 'org.apache.hadoop', name: 'hadoop-mapreduce-client-common', version: '2.7.3'
compile group: 'org.apache.hadoop', name: 'hadoop-client', version: '2.7.3'
}
11はありません)。
mapreduceジョブを実際にビルドできるように、どの依存関係/リポジトリを追加する必要がありますか?
ベンダーパッケージ(Clouderaなど)ではなく、生のorg.apache.hadoopパッケージを使用してこれを行うことはできますか?
ご協力いただきありがとうございます。