2017-01-23 10 views
0

ステップS3 CSV Inputを使用して、s3バケットから複数のファイルをロードし、S3に変換して読み込みます。しかし、この手順では1つのファイルのみを一度にサポートでき、ファイル名を指定する必要があります。バケット名(<s3-bucket-name>/*)だけを指定してすべてのファイルを一度にロードする方法はありますか?pentaho kettleを使用してs3バケットから複数のファイルをロードする方法

答えて

2

S3-CSV-Inputは、たとえばCSV-Inputに触発され、Text-File-Inputなどのマルチファイル処理をサポートしていません。最初にretrieve the filenamesにする必要があります。CSV-Inputと同じように、ファイル名リストをループすることができます。

+0

'Execute Shell script'を使用してバケット内のすべてのファイルのリストを取得しましたが、どのようにstdout出力をループに渡すことができますか? – DevEx

+0

aws stdoutを一時ファイルにリダイレクトします(例: 'Text-File-Input'はファイル名を抽出し、' Copy-Rows-To-Result'を介してファイル名をループ変換に渡します(詳細オプション "すべての入力行に対して実行")。パラメータFILENAMEを定義し、変換のパラメータ設定ページで初期化します。高度なオプション「前の結果をパラメータにコピーする」を有効にすることを忘れないでください。 [ケトル](http://forums.pentaho.com/forumdisplay.php????????????????????????????????????????????????????????????????)とお楽しみください。 – marabu

関連する問題