Azure Automationを使用してHDInsightからSpark 2.0を起動する方法

Question

Azure AutomationグラフィカルランブでHDInsight Spark 2.0を起動する方法がわかりません。私はSpark 1.6を使ってHDInsightで動作する既存のランブックを持っています。通常、バージョン文字列を3.4から3.5に更新しますが、HDInsight 3.5の2つのエディションがあります.1つはSpark 2.0、1.6は2つです。

誰かがSpark2.0バージョンを使用するためにどのようにランブックを入手できるのか教えていただけますか？

バージョンリファレンス：https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-component-versioning#hadoop-components-available-with-different-hdinsight-versions

Answer 1

私はARMのテンプレートを使用してこれを行う方法を決定しました。うまくいけば、それはあなたがランブックに関してあなたを助けるでしょう。 2.0クラスタを実行するJSONを次に示します。 clusterVersionとcomponentVersionの部分に注目してください。

... 
"resources": [ 
    { 
     "apiVersion": "2015-03-01-preview", 
     "name": "somename", 
     "type": "Microsoft.HDInsight/clusters", 
     "location": "northcentralus", 
     "dependsOn": [], 
     "properties": { 
      "clusterVersion": "3.5", 
      "osType": "Linux", 
      "tier": "standard", 
      "clusterDefinition": { 
       "kind": "spark", 
       "componentVersion": { 
        "Spark": "2.0" 
       }, 
...