Kiba-etl Mutliple Transformation-Multiple Destination

Question

複数の変換を複数の宛先に分散しようとしています。例えば ：

orginal.csv: 
title 
movies1 
movies2 
movies3 
movies4 

.themoviedbに追加すると、それは私が rated_movies.csv S3に変換し、このファイルをプッシュする再びこの

better_movies.csv: 
title 
movies1=9 
movies2=5.5 
movies3=7 
movies4=8 

に変換されます。 movies1 = 9 をmovies = 8

これは出力 にする必要がありますどのように私はこれを行うことができますし、私のs3フォルダにプッシュ？

Answer 1

あなたの質問のタイトルに基づいて、あなたが求めているものが明確ではないことが明らかになりましたか？

トランスフォームによって変換されたソースファイル（CSV）がS3に送信したいターゲットファイル（CSV）として書き込まれているとしたら、完成したらターゲットファイルに作用するブロックpost_process。

大体それは与えるだろう：

source CSVSource, file: my_source_file 

transform 
transform 
transform 

destination CSVDestination, file: my_target_file 

post_process do 
    # send your file to s3, by shelling out to `aws s3 cp` 
    # (but make sure to check the exit code if you do so!) 
    # or by using the AWS ruby SDK 
end 

を、このような最初の1以下の新しい宛先を追加するなど、他の多くの可能性は、もちろんあります。

希望すると便利です。