TalendジョブとAmazon EMRを統合する良い方法はありますか？

Question

現在、AWS EMRとTalendを統合しようとしています。

私の目的は、TalendスタジオによってエクスポートされたTalendジョブをAWS EMRで実行することです。私はすでに "カスタムjarとしてステップを追加"しようとしましたが、それはまた、エクスポートされたlibフォルダとスクリプトを使用してTalendジョブが実行されるようです。

私はfat jarで実行したいと思いますが、この質問は、JARファイルをfat jarとしてエクスポートする機能がないためにできないことを示しています。 - >how to export talend job as single fat jar

TalendジョブとAmazon EMRを統合する良い方法はありますか？

Answer 1

最後に、AWSが提供するscript-runner.jarを使用してこの問題を解決しました。

Run a Script in a Cluster

私はEMRクラスターを開始するためにラムダスクリプトを作成しました。そして、私はHadoopJarStepを追加します。 これにより、いくつかのシェルスクリプトを使用して&をダウンロードしてTalendジョブシェルスクリプトを起動することができます。私はAWSラムダ関数を開始した後

• Boto3 Docs - EMRを参照してください意味に

   'HadoopJarStep': { 
        'Jar': 's3://ap-northeast-1.elasticmapreduce/libs/script-runner/script-runner.jar', 
        'Args': [ 
         's3://your/bucket/name.../talend_run.sh' 
        ] 
       } 
  

を知るために、EMRクラスタが作成されます。その後、Hadoopで処理されたステップ（シェル上）。