RESTインターフェースは、ジョブを提出し、

Question

私はセットアップを持って結果を読むためのAzure上HDInsight内のスパーククラスタ、I持って定期的にHDInsightブロブストレージにデータをプッシュして、私はハイブ外部表を作成しましたthaqtサービスその上に。私はJupyterを使用してSpark SQLクエリを実行し、結果を見ることができます。

私はASP.Net Webサイトを持っています。これは、ユーザーの要求に応じて同様のSpark SQLクエリジョブを実行し、その結果をWebページに表示する必要があります。

これをfelicitateする任意のライブラリはありますか誰かがこれを実現する方法についていくつかのサンプルを共有することができますか？

私はHDInsightスパーククラスタクラスタがリウィウスが付属していることがわかり、私は私のDOTNET環境からそれを使用する方法を私たちに示して何のサンプルを参照してくださいません。私はこれが私の問題に対処するために必要なルートであると仮定しています。

私は本当にこのすべてに新しいです、どのポインタが本当に役立つでしょう。

おかげで、我々は現在、HDInsightスパークSDKを持っていないことキラン

Answer 1

申し訳ありません。ここに記載されているように、いつでもAPIにREST呼び出しを送ることができます：https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-livy-rest-interface/。あなたはリウィウスAPIのから結果を取得したい場合

はしかし、あなたはその仕事をするために、いくつかの回避策を行う必要があります。その理由は、結果がLivy APIに書き戻されないHDInsightでは、YARNのSparkをクラスタモードで使用しているからです。 Sparkドライバのコンテナログを参照し、stdout/stderrを手動で取得する必要があります。あなたがより多くの質問がある場合

は、Microsoftドットコムでxiaoyzhuで私にメールをドロップすることができると私は権利者へのルートを助けることができます。

Microsoft HDInsightのXiaoyong Zhu