スプリングデータを使用してhadoop分散キャッシュをセットアップする方法

Question

私はバネデータに慣れていて、すべてのバネデータの依存関係を分散キャッシュに分散しようとしています。しかし、それは動作していないと有用なリソースが見つかりません。

アプリケーションのcontext.xml内部マイ設定： -

<?xml version="1.0" encoding="UTF-8"?> 
<beans:beans xmlns="http://www.springframework.org/schema/hadoop" 
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
    xmlns:beans="http://www.springframework.org/schema/beans" 
     xmlns:hdp="http://www.springframework.org/schema/hadoop" 
    xmlns:context="http://www.springframework.org/schema/context" 
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd 
    http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd 
    http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd"> 
    <hdp:configuration> 
     fs.defaultFS=${hdp.fs} 
    </hdp:configuration> 

    <hdp:job id="wordcountJob" 
     input-path="${wc.input.path}" 
     output-path="${wc.output.path}" 
     mapper="${wc.mapper}" 
     reducer="${wc.reducer}"/> 


    <hdp:cache create-symlink="true"> 
    <hdp:classpath value="/user/hadoop/DistributedCache/spring-data-hadoop-2.3.0.RELEASE.jar" /> 
    </hdp:cache> 

    <hdp:job-runner id="runner" job-ref="wordcountJob" run-at-startup="true"/> 
    <context:property-placeholder location="hadoop-configs.properties"/> 
</beans:beans> 

私は、各ノードに春-データのHadoop jarファイルを配布しようとしています。しかしこれまでのところそれは機能しません。それはそうする方法ですか？どんな助けもありがとう

Answer 1

あなたは仕事の構成でそれを加えることができます。

<hdp:job id="MaxTempJob" 
    input-path="${input.path}" 
    output-path="${output.path}" 
    jar-by-class="com.chanchal.MaxTemperature" 
    mapper="com.chanchal.MaxTemperatureMapper" 
    map-key="org.apache.hadoop.io.LongWritable" 
    map-value="org.apache.hadoop.io.Text" 
    libs="/lib/spring-data-hadoop-2.3.0.RELEASE.jar" 
/> 

libはプロジェクトの場所です。