Canal（Open Studio）Talendを使用して、フォルダからVerticaへのデータ読み込みを自動化できますか？

Question

私は、毎回フラットファイルを手動でエクスポートするのではなく、データを自動的にVerticaにロードする方法を検討していましたが、ETL Talendを見つけました。

私は、複数のcsvファイルを含むテストフォルダで作業しており、ファイルをverticaに入れるためにジョブを作成する方法を見つけようとしています。

オープンスタジオ版（無料）では、ファイルに同じスキーマがない場合はエンタープライズ版の動的スキーマオプションを使用しないと不可能になります。

私はtFileListで始まり、tFileInputDelimitedを反復しようとしますが、スキーマは一様ではないので、もちろん処理を停止します。

ストーリーが短いので、別のスキーマのファイルで構成されるフォルダを持つ場合、Talendの無料版でデータを自動ロードする方法がないと仮定して正しいですか？

誰かが、他のオープンソースのETLを見たり、素晴らしい解決策を提案している人はいますか？

Answer 1

CURRENT_FILE変数にtFileList compenentからアクセスして、ファイル名に応じて異なるルートでファイルを送信することができます。次に、ファイルごとにtFileInputDelimitedを作成します。たとえば、file1.csvとfile2.csvという名前のファイルが2つある場合は、tFileListを右クリックし、を選択します。Trigger> Run If。実行時に条件タイプ（（String）globalMap.get（ "tFileList_1_CURRENT_FILE"））。toLowerCase（）。が（ "file1.csv"）と一致し、それをtFileInputDelimitedにドラッグしてfile1.csvを処理します。 file2.csvに対しても同じ操作を行い、実行条件でファイル名を変更します。