2017-08-10 8 views
-1

私はETL操作のためにCloverETL Designerを使用しています.GCSからCloverグラフにいくつかのcsvファイルをロードしたいと思います。 FlatFileReaderを使用してリモートファイルURLを使用してファイルを取得しようとしましたが、動作しません。誰かがここで全体のプロセスを詳しくお聞かせできますか?Google Cloud StorageにCloverETLを接続する方法は?

GCS内のファイルのパスが

https://storage.cloud.google.com/PATH/Write_to_a_file.csv 

であると私はあなたがファイルをGETするGoogle Cloud Storage APIを使用する必要があります

答えて

1

CloverETL DesignerでFlatFileReaderにこのcsvファイルを取得する必要があります。 CloverのHTTPConnectorコンポーネントを使用すると、適切なパラメータを渡してGETリクエストを行うことができます(トークンを取得するためにOAuth2認証を最初に行う必要があります)。出力ファイルを「出力ファイルURL」で指定されたローカル宛先に送信します。次に、FlatFileReaderを使用して、そのローカルファイルから読み取ることができます。

0

GCSには、バケットからファイルをダウンロードするいくつかの方法があります。コンソールとCloud Storageブラウザを使用できます。手順:ストレージブラウザを開き、ダウンロードするオブジェクトに移動し、右クリックして、選択したローカルフォルダに保存します。 Chromeを使用している場合、保存は[名前を付けてリンクを保存...]と表示されます。

は、GSユーティリティを使用して、このコマンドを使用するには:

`gsutil cp gs://[BucketName]/[ObjectName] [ObjectDestination]`. 

をそれとも、ファイルをダウンロードするためのクライアントライブラリやREST APIを使用することができます。これらの最後のオプションを使用すると、いくつかのファイルを扱うことも、それらをダウンロードするジョブを作成することもできます。彼らがクローバーETLに知られている場所にいれば、そのプロセスは簡単です。

クローバーデザイナーでは、ナビゲーションペインの下で、フォルダを右クリックしてインポートを選択できます。あなたのGCSファイルを置いたものを選んでください。ファイルがインポートされると、そのデータをCloverの他のデータファイルと同様に使用できます。これは.csvファイルなので、メタデータの編集(コンポーネントを右クリックしてメタデータの抽出を選択し、メタデータエディタ内で編集 - データタイプ、ラベルなどについて)を覚えておいてください。そのステップから入って来る/出るもの。ファイルによっては、このプロセスが何度も繰り返されることがあります。

ETLツールを使用しても、データとデータ型を正しく取得するのは難しい場合があります。 ETLプロジェクトでデータ型やエッジを設定する方法について質問がある場合は、wikiが役立ちます。ウェブにはadditional resourcesがあり、あなたが探している最終分析を手助けするかもしれません。

関連する問題