livyを介してスパーク/ヤーンの仕事を殺す方法

Question

私は残りのAPIを使用してlivyを介してスパークジョブを提出しようとしています。しかし、同じスクリプトを複数回実行すると、異なるジョブIDを持つジョブの複数のインスタンスが実行されます。私は新しいものを始める前に同じ名前でスパーク/ヤーンジョブを殺す方法を探しています。 Livyの文書では（https://github.com/cloudera/livy#batch）はバッチジョブを削除しますが、livyセッションはアプリケーション名を返しません。アプリケーションIDだけが返されます。

これを行う別の方法はありますか？

Answer 1

Livyサーバーを停止したときにアクティブだったセッションは、手動で強制終了する必要があります。クラスタマネージャのツールを使用して、それを達成します（たとえば、糸コマンドラインツール）。

次のコマンドを実行して、Livyを介して開始された対話型ジョブのアプリケーションIDを検索します。

は、これらのジョブを殺すためには、次のコマンドを実行し-list

糸アプリケーション。

糸アプリケーション-kill "アプリケーションID"

参照してください：「https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-known-issues#livy-leaks-interactive-session」。

Answer 2

LivyClient APIを使用して、Livy Serverを使用してスパークジョブを送信できます。 LivyClient APIには、ジョブを強制終了するためのstopメソッドがあります。

LivyClient.close（true）;