Spark Livy Server：Pythonスクリプトはどのようにjsonオブジェクトを返すのですか？

Question

私たちはMLとデータ処理にSparkを使用しています。要求はWebベースのUIフロントエンドからのものです。だから私たちはこれにLivy RESTサーバーを使用しています。ここでのチュートリアルに基づいて、コードは正しく完了します。 http://gethue.com/how-to-use-the-livy-spark-rest-job-server-api-for-submitting-batch-jar-python-and-streaming-spark-jobs/

しかし、意図した出力を返す方法はわかりません。これは、火花提出のすべての冗長とともに curl localhost:8998/batches/0/log に結果を送信する

if __name__ == "__main__": 

    sc = SparkContext('local') 
    #do some spark processing to create 'result' dictionary 
    print json.dumps(result, indent=4) 

として現在のpythonコードは「メイン」は終了します。ウェブUI（Node.jsのがベース）は、それを照会することができますので、どのように私の代わりに、このようなlocalhost:8998/batches/0/output

Answer 1

として、JSONオブジェクトを返すことができますあなたは、HDFSに出力を格納することができますし、出力を取得するために、そのファイルの場所のURLを使用することができますノードに入れる。いくつかの一意のIDを使用して、pythonの出力をhdfs内の場所にリダイレクトし、その一意のIDをデータベースに保存し、出力を取得するときにそのIDを参照して出力ファイルを取得できるようにする方が良いです。