クロノスでスパーク・サブミットを実行

Question

現在、ドッカー・コンテナを有効にしたmesosクラスタがあります。私は、クラスタ上でsparkフレームワークを実行するために、mesosドッカーサポートを使用します。私はクロノスからスパーク・サブミット・ジョブをスケジュールしたいと思っています。手順やそれを実行する最善の方法を教えてください。私はかなりmesosしていないと私はどのようにchronosがアプリケーションを提出するspark-submitコマンドを見つけるか分からない。

Answer 1

あなたはドッカー容器内にスパーク分布と一緒にあなたのアプリケーションをパッケージ化し、クロノスにドッカージョブを作成することができます。たとえば

• http://mesos.github.io/chronos/docs/api.html#adding-a-docker-job

、クロノスにPOSTリクエストを送信しますこのようなREST API：

curl -L -H 'Content-Type: application/json' -X POST chronos-node:8080/scheduler/iso8601 -d ' 
{ 
    "schedule": "R/2016-04-15T12:00:00Z/PT2M", 
    "name": "spark-submit-job", 
    "container": { 
    "type": "DOCKER", 
    "image": "my/sparksubmitapp", 
    "network": "BRIDGE", 
    "forcePullImage": true 
    }, 
    "cpus": "0.5", 
    "mem": "1024", 
    "uris": [], 
    "command": "/path/to/spark/bin/spark-submit --class com.my.app.Main myApp.jar" 
}'