azure-data-factory

3熱

1答えて

Google DataFlow/Apache Beamを使用して画像処理やクロールのタスクを並列化するのは理にかなっていますか？私のような手順が含まパイプライン実行するためのオプションとしてGoogleデータフローを検討しています

：ウェブから画像をダウンロードするを。画像を処理しています。 DataFlowはジョブを完了するために必要なVMのライフタイムを管理しているので、自分で開始または停止する必要はありませんが、データマイニングの種類のタスクに使用しています。私はそれが画像処理やクロールのような他のバッチタスクの実行可能なオプションであるのだろうかと思います。

0熱

2答えて

Azureデータファクトリのユニットテスト

AzureデータファクトリプロジェクトのセットアップをAzureプラットフォームの既存のデータファクトリにローカルに配置するVSTS CI/CDパイプラインがあります。プロジェクトを単体テストできる方法はありますか？私はビルド定義にビジュアルスタジオのテストタスクがあることを理解しています。 ADF用の単体テスト・プロジェクトを作成するにはどうすればよいですか？どんな提案も役に立ちます。

1熱

1答えて

非同期

背景をどのように処理すべきか、AzureのバッチでAzureのデータファクトリー活動を実行しているとき、私はややこのシナリオを単純化しているが、これは一般的な問題です。私はAzureデータファクトリを使用して、カスタムAPIからAzureデータウェアハウスのテーブルにデータを取り込みます。 IDotNetActivityを使用してAPIを呼び出し、データウェアハウスにデータをロードするC＃コー

0熱

1答えて

Azure Data FactoryアクティビティPowerShellを使用した試み

PowerShellを使用してアクティビティ試行の情報を取得する方法はありますか？私は-AzureRmDataFactoryActivityWindowを取得し、取得-AzureRmDataFactoryRunを使用してみましたが、「データ読み取り」などの分野、「データが書き込ま」と「行」は利用できませんしている Attempts window in Azure Data Factory ：私は、

0熱

2答えて

Azure Data Factory - ブロブストレージから新しいファイルを読み取る方法

私は、新しいInsightに基づいて新しいファイルを作成するアプリケーションのインサイトで「連続エクスポート」プロセスを使用しています。私はAzure Data Factoryを使用して、Blob Storageデータで1つのSQLテーブルをロードするプロセスを持っています。問題：私は、A.D.F.からBLOBストレージから新しいファイルのみを読み取ることができませんし、私はいつも同じデータ

0熱

1答えて

データ工場カスタムアクティビティ、ゲートウェイ経由でonPremiseデータソースに接続

私の質問で直接開始します：データ管理ゲートウェイ経由のAzureデータ工場カスタムアクティビティでPremiseデータセットに接続することは可能ですか？ユースケース：私はAzureブロブストレージにregularyコピーする必要があり、その上に複数のファイルと、ローカルFTPサーバーを持っています。ファイルをアップロードする必要があるかどうかの判断は、カスタムトリガーに基づいている必要がありま

0熱

1答えて

ADFアクティビティとOndemand HDInsightインスタンス

オンデマンドのhd insightを初めて使用しています。私は基本的な質問を持っています - を同時に実行して、別々のADFパイプラインでそれぞれHDInsightオンデマンドリンクサービスを使用しています。 HDInsightのインスタンスはいくつ作成できますか？アクティビティごとに1つのインスタンスですか？ドキュメントには、作成された各インスタンスの生存期間の値が記載されているので、少し混乱

2熱

1答えて

オンタイムパイプラインを再実行（再スケジュール）

データコピーウィザードを使用してAzureデータファクトリでパイプラインを新しく作成しました（）。パイプラインには4つのアクティビティがあり、4つのアクティビティすべてが正常に実行されました。ここでパイプラインを再開したいと思います。だから私は：パイプラインをクローンします。名前を[name]_rev2に変更します。 startおよびendプロパティを削除します。クローンパイプラインを展