Azure Process Orchestration

Question

オーケストレーションのプロセスに関するベストプラクティスに関するアドバイスを探しています。いくつかのコンテキストを与えるために、私は、次のタスクを編成する必要があります：Azureのバッチプール

1. スケールアップが
2. は、タスクのリストを取得するためにサーバーを呼び出すカスタムの.NETコードを実行し、適切なノードを提供します。これらのタスクは日々変化します。これらのタスクをバッチプールにキューイングします。
3. バッチプールで各タスク（カスタム.Netコード）を実行します。各タスクは、Azureストレージアカウント内にデータを作成します。
4. バッチプールをスケールダウンします。
5. データウェアハウスの開始/スケールアップ
6. データをデータウェアハウスにインポートします（PolyBaseとBCPの組み合わせを使用することを想定しています）。
7. データを集約し、Azure Storageアカウントに出力します。
8. 一時停止/データウェアハウスを縮小

私は現在、上記を実行するためにランブックにデータウェアハウスを比較しています。

私はRunbooksが設計時と実行時の視覚化の点で非常に原始的であると感じます。

私は、データウェアハウスが視覚的にはより重要であることがわかりました。しかし、データの分割は大規模な過度のようです。私は、プロセスが毎朝午前8時に実行されるようにするだけです。私はそれが過去の日のためにexcuteを試みることを望んでいません（もし私がテンプレートを修正すれば）。私はデータウェアハウスがアクティビティのパイプラインに沿って失敗/再開をよりうまく処理できると期待しています。

私はここで/考慮すべき他のアプローチはありますか？リストに必要なものは確かのほとんどを行うことができますので、私は幅広いっぽい答えを提供しますかなり広い質問です

おかげ デビッド

Answer 1

...

Azureのデータファクトリー（ADF）上記のように、いくつかの例外/調整を行います。

バッチ計算プールのスケーリング。これは、自動スケール機能を使用してサービスでローカルに処理し、これに対処するコマンドを渡す必要があります。 ADFに直接設定するアクティビティはありません。

ポイント3と4で述べるカスタム.Netコード。実行のためにバッチ・サービスに渡されるADFカスタム・アクティビティとして記述できます。ですから、ADFはバッチ・タスクを作成し、ADFが実行するだけでなく、これらのDLLの処理を許可します。 ADFはこれをすべて処理します。

ここでカスタムアクティビティの作成に関する詳細情報：https://www.purplefrogsystems.com/paul/2016/11/creating-azure-data-factory-custom-activities/

をデータウェアハウスADFはあなたのクエリを実行し、ストアドプロシージャにパラメータを渡すことができるように、ボックス機能のうち、持っているためなど

最後には、のためにDWスケーリングとポーズここではAzure Automationを使う必要があると思います。私は、あなたが.Netをもう一度打ち破らない限り、そのレベルの制御を提供することができるADFのものを認識していません。

希望すると、進歩の手助けをすることができます。