Spark：スパーク処理のための生産ジョブの作成方法

私はspark-sqlを使用してジョブを実行していますが、プロダクションコマンドは何でしょうか？生産ジョブコマンドとしてspark-sqlを使用できますか？Spark：スパーク処理のための生産ジョブの作成方法

おかげで、 Virendra

2016-06-30 gwn D

実動クラスタはありますか？あるいは、単に「実動システム」のデータベースからデータを使用するつもりですか？ –

はい私は生産クラスタを持っています。主にクエリを実行し、SPARK-SQLを使用して複数の結合を含むクエリのパフォーマンスを確認します。毎日のbsaisの実行にも同じSPARK-SQlをプロダクションで使用できますか？ SPAR-SUBMITを使うべきですか？問題はSPARK-SUBMITを使うことです。私はスカラやJavaコードを書いてSPARK-SUBMITで使用できるJARを作成しなければなりません。 –

生産のあなたの意味は何を正確にわかりません。もう少し詳しく説明できますか？

spark-sqlは、インタラクティブにデータを探索するために設計されています。 REPLとしてJavaプロセスを起動します。

おそらく、mavenプロジェクトのコードを置くほうがもっと簡単です。同様this

出典

2016-06-30 09:20:42

ありがとう！私はプログラミングの人ではないので、SPARK-SQLにはSQL型の機能がありますが、生産クラスターではJAR（スカラ/ Javaコードベース）を使用するかSPARK-SQLのみを使用する必要がありますジョブズ。 –

クラスタでコードを実行するには、SPARK_HOME/bin/spark-submitを使用する必要があります。詳細はこちらをご覧ください：http://spark.apache.org/docs/latest/submitting-applications.html

出典

2016-06-30 09:46:47 Przemek

ありがとう！つまり、scalaまたはjavaにコードを記述してsqlContextを呼び出す必要があります。 jarを作成し、SPARK-SUBMITを使用します。とにかくSPARK-SQLだけで仕事を作り、スクリプト（sql）をパラメータとして呼び出すことができます。 –

私はそうは思わない。 uber jarを作成してクラスタにデプロイする必要があります。 – Przemek

Spark：スパーク処理のための生産ジョブの作成方法

答えて

関連する問題