クラスタ起動時にEMRでZeppelinのSpark Interpreterを設定する

Question

EMRでクラスタを作成していて、S3からノートブックを読み取るようにZeppelinを設定しています。

[ 
    { 
    "Classification": "zeppelin-env", 
    "Properties": { 

    }, 
    "Configurations": [ 
     { 
     "Classification": "export", 
     "Properties": { 
     "ZEPPELIN_NOTEBOOK_STORAGE":"org.apache.zeppelin.notebook.repo.S3NotebookRepo", 
      "ZEPPELIN_NOTEBOOK_S3_BUCKET":"hs-zeppelin-notebooks", 
      "ZEPPELIN_NOTEBOOK_USER":"user" 
     }, 
     "Configurations": [ 

     ] 
     } 
    ] 
    } 
] 

私はEMRのStoftware設定ページにこのオブジェクトを貼り付けています：私はそのように見えるJSONオブジェクトを使用していますことを行うには、 私の質問は、である私には、Sparkインタプリタを構成することができますどこか/クラスタを起動するたびにZeppelinから手動で設定する必要はありませんか？

Answer 1

これが関与ビットです、あなたは2件の観光名所する必要があります。

1. 編集ツェッペリン
のinterpreter.json
2. 再起動をインタプリタ

だからあなたがする必要があるものですシェルスクリプトを作成し、このシェルスクリプトを実行するEMRクラスタ構成に追加の手順を追加します。

Zeppelin設定はjsonにあり、json（ツール）を使用してjsonを操作できます。私はあなたが正確に変更したいのか分からないが、ここでは（謎の行方不明）DepInterpreterを追加する例です：S3バケットにこのシェルスクリプト入れ

#!/bin/bash 

# 1 edit the Spark interpreter 
set -e 
cat /etc/zeppelin/conf/interpreter.json | jq '.interpreterSettings."2ANGGHHMQ".interpreterGroup |= .+ [{"class":"org.apache.zeppelin.spark.DepInterpreter", "name":"dep"}]' | sudo -u zeppelin tee /etc/zeppelin/conf/interpreter.json 


# Trigger restart of Spark interpreter 
curl -X PUT http://localhost:8890/api/interpreter/setting/restart/2ANGGHHMQ 

が。 次に、EMRクラスターを

--steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://eu-west-1.elasticmapreduce/libs/script-runner/script-runner.jar,Args=[s3://mybucket/script.sh]