Q

最後のスパーク送信完了（または失敗）+ xxx時間後にスピンダウン

2017-03-09 9 views 0 likes

0

私はAmazonのEMRクラスターを使用していますが、私は追加ステップAPIを使用していません。私は、たとえば、3日間アイドル状態になっている場合など、クラスタをシャットダウンする方法をお勧めします。最後のスパーク送信完了（または失敗）+ xxx時間後にスピンダウン

これをビルドする場合は、クラスタ上で履歴コマンドを実行し、最後のコマンドを探します。より良い方法がありますか？

2017-03-09 Brian Bruggeman

A

答えて

1

これを行う最も簡単な方法は、糸のジョブのリストを確認することです。実行中のジョブを次のように表示することができます。

yarn application -list

-listには、さらにいくつかのオプションがあります。

2017-03-12 20:35:23

+0

この回答をお寄せいただきありがとうございますが、これは実際に私が知る必要があることを私に伝えているとは思いません。クラスタがしばらくアイドル状態になっている場合は、シャットダウンする必要があります。この場合、 'yarn application -list'コマンドは、最後のアプリケーションの実行が終わってからの経過時間ではなく、実行中のものに関するデータのみを表示します。 –

+0

さて、あなたは糸アプリケーションリストからIDを収集し、個々のIDは糸アプリケーション-status でクエリできます。それは開始時間を表示します（アプリケーション終了後に終了時刻を表示します） –

+0

さらに、次のコマンドで完成したアプリケーションを照会することもできます：糸アプリケーション-list -appStates終了 –

関連する問題