1

私はSSIS開発者です。私はSSISで多くのSQLストアドプロシージャの検索概念を行っています。しかし、Azure Data Factoryに来るときに、私はSQLストアドプロシージャを使ってルックアップを実行する方法を知らない。Azureデータファクトリでルックアップを実行するには?

誰も私にこれを案内してくれませんか?

ありがとうございます! Jay

答えて

1

Azure Data Factory(ADF)は、ETLではなくELTツールであるため、直接ルックアップはサポートされていません。代わりに、このタイプの操作は他の変換とともにが実際に使用している計算にプッシュダウンされます。たとえば、SQL Server、Azure SQLデータベースまたはAzure SQLデータウェアハウスにデータを移動する場合は、すべてのデータが同じサーバー上にあることを確認し、Stored Procedure taskを使用してT-SQLと結合を使用してルックアップを実行します。 Azure Data Lake Analytics(ADLA)を使用している場合は、U-SQL Activityを使用してU-SQLを実行したり、ADLAストアドプロシージャを実行したり、結合ツールやApplier、ReducerなどのカスタムU-SQLコードを使用してルックアップを行います。実際には、SQL、HDInsight(Hive、Pig、Map Reduce、Streaming、Sparkスクリプトを含む)、Machiine Learningまたはカスタム.netアクティビティなどのADF計算オプションを使用できます。

したがって、ADFではさまざまなことを考える必要があります。 ADFにデータを変換するのより深い理解を得るために、この記事を見て:

Azureのデータファクトリーさておき、私はめったに初期のバージョンでのパフォーマンスとしてSSISにルックアップを使用しないだろうとして https://docs.microsoft.com/en-us/azure/data-factory/data-factory-data-transformation-activities

内のデータを変換します以前は貧しい人でした。これは後のバージョンで改善されていますが、一般的にはSQLでそれを行うことができれば可能でしょう。このパターンは、(基本的には結合である)ルックアップの目的で、データをSSISパイプラインにドラッグするのではなく、SQL Serverの機能を利用して、データを再び戻します。データフロー変換は、主に非リレーショナルデータが含まれている場合(xmlなど)、電子メールサーバーにリレーショナルデータを追加する場合に使用します。とにかくこれは私の個人的な見解です。)

+0

網羅的な説明をありがとう! 基本的には、ファイル操作も行います。 入力ファイルには、区切り記号(カンマ)で区切られたフィールドが多数あります(番号は50桁です)。受け入れ可能な出力ファイルを作成するようにファイルを変更/作成する必要があります。 私は上記のような変容に関するいくつかの質問を持っています。あなたは私のためにそれらを明確にしてくれますか? – Jayendran

+0

1.単純な文字列の連結はどのように行いますか? - .NET(https://docs.microsoft.com/en-us/azure/data-factory/data-factory-use-custom-activities)でカスタムアクティビティを実行します。しかし、関数/コードのどの部分が私の単純な連結に使用されるのかわからない。また、これを行うカスタムアクティビティ以外の方法はありますか? 2.クライアントのSFTPサーバーからファイルをコピーして、紺碧のクラウドストレージに移動するにはどうすればよいですか?利用可能なビルトインタスクがありますか?同じカスタムアクティビティでこれを実行する必要がありますか? – Jayendran

+0

3.クライアントSFTPからのファイルの名前の変更/削除方法は? 4.簡単な操作の実行例:#field1 = "male"の場合、出力ファイルには最初の行に#field4という列が含まれていますか? ありがとうございました – Jayendran

関連する問題