2016-10-28 2 views
0

私は単純なHadoop mapreduceプログラムを構築しようとしています。私は周りのサンプルコードをチェックアウトし、自分自身を構築しようとしました。私は次のgradleスクリプトを作成し、インストールされた依存関係を見るとMapperまたはReducerはありませんでした。 org.apache.hadoop.mapもパッケージを作成しません。 (私はこれらを知っている私は、これらの10件のHadoopの依存関係のうち、少なくとも7を必要とするつもりはないけど、私はorg.apache.hadoop.mapreduceパッケージを持っているこれらの依存関係のどれか分からないgradleを使った簡単なMapReduceプロジェクトの構築:Hadoopの依存関係にMapperとReducerはありません

group 'org.ardilgulez.demoprojects' 
version '1.0-SNAPSHOT' 

apply plugin: 'java' 

repositories { 
    mavenCentral() 
} 

dependencies { 
    testCompile group: 'junit', name: 'junit', version: '4.11' 
    compile group: 'org.apache.hadoop', name: 'hadoop-common', version:'2.7.3' 
    compile group: 'org.apache.hadoop', name: 'hadoop-hdfs', version: '2.7.3' 
    compile group: 'org.apache.hadoop', name: 'hadoop-yarn-common', version: '2.7.3' 
    compile group: 'org.apache.hadoop', name: 'hadoop-minicluster', version: '2.7.3' 
    compile group: 'org.apache.hadoop', name: 'hadoop-mapreduce-client-core', version:'2.7.3' 
    compile group: 'org.apache.hadoop', name: 'hadoop-mapreduce-client-jobclient', version: '2.7.3' 
    compile group: 'org.apache.hadoop', name: 'hadoop-mapreduce-client-app', version: '2.7.3' 
    compile group: 'org.apache.hadoop', name: 'hadoop-mapreduce-client-shuffle', version: '2.7.3' 
    compile group: 'org.apache.hadoop', name: 'hadoop-mapreduce-client-common', version: '2.7.3' 
    compile group: 'org.apache.hadoop', name: 'hadoop-client', version: '2.7.3' 
} 

11はありません)。

mapreduceジョブを実際にビルドできるように、どの依存関係/リポジトリを追加する必要がありますか?

ベンダーパッケージ(Clouderaなど)ではなく、生のorg.apache.hadoopパッケージを使用してこれを行うことはできますか?

ご協力いただきありがとうございます。

答えて

0

これは正しい依存する必要があります:

compile 'org.apache.hadoop:hadoop-mapreduce-client-core:2.7.3'

はあなたのgradleプロジェクトをリフレッシュしてください。

0

追加

compile group: 'org.apache.hadoop', name:'hadoop-core', version: '2.7.3' 
関連する問題