新しいセッションをLivyの別のコピーとして作成

Question

私はlivyを使ってSparkをサービスとして使用しています。私のアプリケーションはコードとしてlivyにいくつかのコマンドを送信しますが、sparkはいくつかの変数を初期化する必要があります（いくつかのファイルを読み込み、&などいくつかのマップを作ってください）。この初期化部分はすべてのセッションで共通です。建設後、これらのセッションに異なるステートメントを送ることができます。

livyがセッションを作成したとき、古いセッション行をイメージにコピーすることは可能ですか、最初からすべてを開始する必要がありますか？

ありがとうございます。

Answer 1

一部の調査の後、Livyサーバーでは不可能です。 Livyの唯一の責任は、アプリケーションがHadoopクラスタ内のSparkフレームワークに到達するための休憩サービスです。各リクエスト（バッチかセッションかに関わらず）ごとに、別個のスパーク・シェルを開きます。したがって、既存のセッションを複製することはできません。

もう1つ追加しても、私は本当にlivyサーバーが外部依存関係を処理する方法が嫌いでした。太った瓶を作ることは、たくさんあるので、hadoop環境にとって適切な方法ではありません。ただし、コマンドライン引数を指定してsparkアプリケーションを実装すると、HTTP経由でHadoop環境と対話的に通信する簡単な方法です。