AWS S3 JavaでLambda関数を使用するイベント通知

Question

S3 Putイベント通知にLambda関数を使用しようとしています。 S3バケットに新しいJSONファイルを追加/追加すると、私のラムダ関数を呼び出す必要があります。 私が持っている課題は、このようなラムダ関数をJavaで実装するための十分な文書がないことです。私が見つけたdocのほとんどはNode.js用です

私のラムダ関数を呼び出してそのラムダ関数内に追加したいJSONを消費し、そのJSONをAWS ESサービスに送りたいと思っています。

しかし、私はこれにどのようなクラスを使用するべきですか？誰でもこれについて何か考えている？ S3 abd ESはすべてセットアップされ実行されています。ラムダ用の自動生成コードは、 です。

@Override 
public Object handleRequest(S3Event input, Context context) { 
    context.getLogger().log("Input: " + input); 

    // TODO: implement your handler 
    return null; 
} 

次は何ですか？

Answer 1

最後に、ここではS3のための手順は次のとおりです - Javaを使用して> ES統合 - >ラムダが。

1. AWSでS3、Lamba、ESを作成しましたか？手順はhereです。

2. ラムダ関数で以下のJavaコードを使用して、S3で新しく追加されたオブジェクトを取得し、ESサービスに送信します。

   public Object handleRequest(S3Event input, Context context) { 
   AmazonS3Client s3Client = new AmazonS3Client(new DefaultAWSCredentialsProviderChain());   
   
   for (S3EventNotificationRecord record : input.getRecords()) { 
       String s3Key = record.getS3().getObject().getKey(); 
       String s3Bucket = record.getS3().getBucket().getName(); 
       context.getLogger().log("found id: " + s3Bucket+" "+s3Key); 
       // retrieve s3 object 
       S3Object object = s3Client.getObject(new GetObjectRequest(s3Bucket, s3Key)); 
       InputStream objectData = object.getObjectContent(); 
   
       //Start putting your objects in AWS ES Service 
       String esInput = "Build your JSON string here using S3 objectData"; 
   
       HttpClient httpClient = new DefaultHttpClient(); 
   
       HttpPut putRequest = new HttpPut(AWS_ES_ENDPOINT + "/{Index_name}/{product_name}/{unique_id}"); 
   
       StringEntity input = new StringEntity(esInput); 
       input.setContentType("application/json"); 
       putRequest.setEntity(input); 
   
       httpClient.execute(putRequest); 
       httpClient.getConnectionManager().shutdown(); 
   
   }   
   return "success";} 
   

3. ESの実際のインデックス&対応するマッピングを作成するために、郵便配達やセンスのいずれかを使用します。

4. 完了したら、マシンにproxy.jsをダウンロードして実行してください。あなたのマシンからhttp://localhost:9200/_plugin/kibana/ URLを実行することによって、このpost

5. テストのセットアップとKibanaで提案されていることを確認しますセットアップESセキュリティ手順を行います。

6. すべて設定されています。キバナであなたのダッシュボードを設定してください。 S3バケットに新しいオブジェクトを追加してテストしてください。

Answer 2

ラムダでS3イベントを処理できますが、S3Eventオブジェクトはオブジェクト自体ではなくオブジェクトへの参照のみを転送することに注意してください。実際のオブジェクトに到達するには、AWS SDKを自分で呼び出す必要があります。 ラムダ関数内S3オブジェクトを要求すると、次のようになります。今

public Object handleRequest(S3Event input, Context context) { 
    AmazonS3Client s3Client = new AmazonS3Client(new DefaultAWSCredentialsProviderChain());   

    for (S3EventNotificationRecord record : input.getRecords()) { 
     String s3Key = record.getS3().getObject().getKey(); 
     String s3Bucket = record.getS3().getBucket().getName(); 
     context.getLogger().log("found id: " + s3Bucket+" "+s3Key); 
     // retrieve s3 object 
     S3Object object = s3Client.getObject(new GetObjectRequest(s3Bucket, s3Key)); 
     InputStream objectData = object.getObjectContent(); 
     //insert object into elasticsearch 
    }   
    return null; 
} 

ElasticSearchにこのオブジェクトを挿入するにはかなり難しい部分。残念なことに、AWS SDKはこのための機能を提供していません。デフォルトの方法は、AWS ESエンドポイントに対してREST呼び出しを行うことです。 ElasticSearchインスタンスを呼び出す方法については、さまざまなサンプルがあります。

一部の人々は、次のプロジェクトに行くように見える：

Jest - Elasticsearch Java Rest Client