オンデマンドのhd insightを初めて使用しています。私は基本的な質問を持っています -ADFアクティビティとOndemand HDInsightインスタンス
を同時に実行して、別々のADFパイプラインでそれぞれHDInsightオンデマンドリンクサービスを使用しています。 HDInsightのインスタンスはいくつ作成できますか?アクティビティごとに1つのインスタンスですか?
ドキュメントには、作成された各インスタンスの生存期間の値が記載されているので、少し混乱しました。新しいジョブは、最初にインスタンスを作成した同じパイプラインのアクティビティから取得する必要がありますか、またはこのインスタンスは他のパイプラインのアクティビティで共有されていますか?
また、オンデマンドインスタンスで使用されているコア数は、サブスクリプション使用回数に含まれないことを確認したかっただけです。
本当に申し訳ありませんが、質問は非常に基本的ですが、助けを非常に感謝しています。
あなたの質問に対する答えはわかりません。 HDInsightの代わりにData Lake Analyticsを使用することを検討したことがありますか? USQLの仕事は制御がはるかに容易で、感情的にはるかにコストがかかる。 –
はい@paulandrew、私たちはそれを考えましたが、クライアントは成熟度によってハープになる傾向が強く、USQLが変形能力に一定の制限をもたらすかもしれないと考えています。この理解が間違っている場合は、私を修正してください。また、ADFで計算エンジンを使用するための料金設定を理解しようとしています.USQLの場合、ADF jsonでdegreeofparallelismを提供しています。ヘルプ・ドキュメントにはBig Analytics Unitと記載されています。 USQLジョブの請求対象となるAUと同じですか? –
部分的な回答は[url](https://docs.microsoft.com/en-us/azure/data-factory/data-factory-compute-linked-services)に隠されています。timetoliveプロパティの値が適切に設定されている場合複数のパイプラインがオンデマンドのHDInsightクラスタのインスタンスを共有できます。しかし、複数のパイプラインが同時に起動した場合、最初にデッキに当たるパイプラインのクラスタだけが作成されるかどうかはまだ分かりません。複数のパイプラインが同時に衝突すると、複数のクラスタが作成される可能性があります。オンデマンドクラスタの数を推定するためのガイダンスは、コストとCPUの制限に影響するため作成されていますか? –