2016-07-01 6 views
0

私は、foo.json.gzとしてS3フォルダ(例:s3:// data /)に圧縮形式で存在する多くのjsonファイルfoo1.json.gz、foo2.json.gz。カテゴリ(1010など)の1つが誤って割り当てられているため、すべてのファイルを1020に変更する必要があります。この変更を行って、変更した内容のS3でこれらのファイルを再パッケージ化するにはどうすればよいですか?S3の特定のパターンに基づいてファイルコンテンツを変更するには

foo.json 
    { 
     "flower": "lilly", 
     "animal": "cat", 
     "category": "1010" 
    } 
    { 
     "flower": "rose", 
     "animal": "dog", 
     "category": "1000" 
    } 
    { 
     "flower": "daisy", 
     "animal": "cat", 
     "category": "1010" 
    } 

答えて

1

最も簡単な&効率的な方法は以下のとおりです。

  1. は、バケットは、コストを最小限に抑えるために、ある同じ地域にあるEC2インスタンス内のすべてのこれらのファイルを取得します(aws cliを使用して)
  2. 解凍(gunzipを使用)* .gzというファイル
  3. は、実践的なJSONファイルを更新。(phpを使用して)
  4. 再圧縮ファイル。
  5. コピーS3に戻ってファイル。
+0

は、ファイルサイズは本当に巨大であり、その名前がこのようなものを行うには、あまりにも簡単です言うように、私はこれはオプション – Rpj

+0

S3であるとは思わない(aws cliを使用して)いますあなたはそれが欲しいです。変更を行うには、LambdaまたはEC2インスタンスが必要です。 –

関連する問題