Powershellを使用してHD Insight Sparkクラスタを作成しています。スクリプトアクションを使用してクラスタを作成した後、SparkおよびHive設定を構成したいと思います。私が設定したい設定値はAzure HD Insight Clusterにスクリプトアクションを追加する方法
spark.yarn.maxAppAttempts=1 spark.yarn.executor.memoryOverhead = 1152 hive.merge.orcfile.stripe.level = false です。これらの値を設定するには、私はスクリプトアクションを使用したくありません。
hive.merge.orcfile.stripe.levelを更新するには、https://docs.microsoft.com/azure/hdinsight/hdinsight-hadoop-customize-cluster-bootstrapのようなブートストラップスクリプトを使用できます。 spark paramsを更新したい場合は、少なくとも3つのオプションがあります。最初に、これらのパラメータは、sparkアプリを送信するときに渡すことができます。 2番目のuは、AmbariのUIを使用して更新できます： https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-resource-manager そして、3番目のスクリプトアクションを使用してspark-defaults.confを更新するか、ヘッドノードにsshだけでこのファイルを更新できます。
あなたの回答に感謝しますが、Add-AzureRmHDInsightConfigValuesには、Sparkの設定オプションはありません。 Hive、Ooze、Stormなどのオプションがあります。 – jane