RedshiftからElasticSearchへのデータコピー

Question

ESクラスタに大量のデータが格納されています。 ESクラスタにもう1つのフィールドを追加し、Redshiftテーブルの列からこのフィールドのデータをアップロードする必要があります。私はそのようなデータ転送を行うことは決してありません。AWSが初めてで、このタスクにどのようにアプローチするのか、そのようなデータ転送を行うために何を読んでおくべきかについてはわかりません。あなたはそれを行うための最良のアプローチは何か知っていますか？

Answer 1

ログスタッシュを使用している場合は、データをそのまま使用していますか？そうであれば、logstashに簡単にカラムを追加できます。追加の列データが索引に取り込まれるように、最初からロック開始を再開します。あなたの現在の設定が何であるか教えてください。

Answer 2

私はelasticssearchクラスタからデータをダンプし、それを赤方偏移にロードしたいと思っています。ここ は私が取るアプローチです：使用してelasticsearchから

• ダンプデータ：https://github.com/taskrabbit/elasticsearch-dump
• コピーS3にJSONファイル：使用して赤方偏移するCLI AWS
• コピーS3からJSONファイルを使用して：https://docs.aws.amazon.com/redshift/latest/dg/copy-usage_notes-copy-from-json.html