2016-09-19 6 views
0

ツェッペリンの内側から糸にスパークをかける(スカラを使用して)アプリケーションに推奨する方法はありますか?私は用途ツェッペリンを使用した糸のスパークの除去

:q 

を使用して、それがきれいにシェルを終了スパークシェルでは、糸上のアプリケーションを殺し、そして私が使っていたコアをunreserves。

私は成功した糸上のアプリケーションを殺すんが、それはまた、エラーをスローし、私は新しいセッションを開始したい場合、私は通訳を再起動する必要があり

sys.exit 

を使用できることを発見しました。別のノートブックを同じインタプリタの別のインスタンスでアクティブに実行している場合、2番目のノートブックで作業を終了するまではインタープリタを再起動できないため、sys.exitは理想的ではありません。

+0

この質問には簡単な答えがないようです。フォローアップを追加することができれば、誰かが理由を理解できますか?qは動作しないか、コロンコマンドを作成する方法を知っています:q zeppelinでの作業?彼らは、ゼプリンが再現できない方法でREPLに何らかの形で特有のものですか? – pwb2103

答えて

0

YARNのUIに行き、そこでアプリケーションを終了したいと思うかもしれません。これは、プライマリ名ノードのポート8088上で実行されている必要があります。ただし、サービスの再起動が必要になります。

理想的には、YARNにこれを処理させてください。ツェッペリンが指定された数のエグゼクティブとコアでスパークを開始するだけであるからといって、あなたが思うように「予約」されているわけではありません。これらのコアは、他のコンテナでも使用できます。ヤーンはこれらのリソースを非常にうまく管理します。あなたが限られたクラスタを持っていない場合や、YARNからのリソース管理のすべての最後のドロップを必要とする何かをしている場合を除き、Zeppelinが単独で使用しているSparkアプリケーションをそのまま残しておいてください。

+0

おそらく私たちのクラスタでYARN設定が異なっているかもしれません。 xコアが予約されたYARN上でアプリケーションを実行している場合、それらのコアは他のユーザーが利用できません。十分なユーザーがアプリケーションを実行して、クラスター上のすべてのコアが予約されている場合、追加のアプリケーションは、アプリケーションが実行される前にコアが解放されるまで待つ必要があります。 UIを使ってアプリを強制終了することは、あなたが指摘しているように動作するが、sys.exitより優れているわけではない糸アプリケールと実質的に同じです。 – pwb2103

0

Zeppelin Sparkインタプリタを再起動することができます(これはインタプリタの設定ページから行うことができます)。これは、Zeppelinアプリを殺すはずですが、再度パラグラフを実行しようとすると、インタプリタ(したがってZeppelinアプリ)を再起動します。

+0

答えをありがとう!課題は、段落が実行されるときに糸アプリを殺すsys.exitのようなものを探していることです。これは、1日の終わりにいくつかの長い実行中の段落を開始し、それらの段落が終了すると、私の糸のアプリを殺したい場合に役立ちます。また、私が上で述べたように、sys.exitの唯一の欠点は、インタプリタを使用した後に再起動する必要があることです。私は同じインタプリタで複数のノートを実行しているときに避けようとしています – pwb2103

関連する問題