Livyを使用してPythonスクリプトをアップロード

Question

私は、Livy API (or client)を使ってPythonスクリプトをスパークサーバーにプッシュする方法を見つけようとしています。私は以下を試した。 -H ：

1. カール-X POST 'は{ "/user/test/pi.py" "ファイル"}' --data "コンテンツタイプ：アプリケーション/ JSONを" ローカルホスト：8998 /バッチ

が、私はそれはサーバー上 パスを見つけようとしているので、見つからないファイルを与えるログを参照してください 。

2. Livy Pythonクライアントの使用。

R = client.upload_pyfile（ "/ TMP /コード/ test.py"）

、これは将来 オブジェクトを返すが、バッチが作成されていない、（私はアップロードするファイルパスが であるかどうかはわかりません）。

基本的に私が欲しいものはある -

1. リウィウスを使用してスパークサーバー に、APIを介してファイルをアップロードすること。

2. 提出するバッチ/実行トリガー。 Livyを使って

Answer 1

私はLivy JAVAクライアントを使用して同じことができます。私はLivy ServerにjarファイルをアップロードしてSpark JOBSを提出しました。

下記のリンクを参照してください。 https://livy.incubator.apache.org/docs/latest/programmatic-api.html

注記： 注：livyクライアントがjarファイルを正常にアップロードするまで待機します。 2. jar /ファイルは、livyサーバーまたはlivyサーバーにアクセス可能なHDFSで使用可能にする必要があります。