MacでScala Sparkアプリケーションを実行

Question

私はHomebrewを使ってSparkとScalaをインストールしました。私はスパークシェルを実行することができます。また、Spark-IDEをusr/local/share（これが正しい方法であるかどうか）に配置してインストールし、シンボリックリンクをApplicationsフォルダに配置しました。今、私はScalaで書かれたSparkアプリケーションをEclipse内で実行したいと思っています。それ、どうやったら出来るの？

Answer 1

Apacheのスパークジョブを作成および実行する方法を一般的な方法はにある：

1、パッケージを作成 - 通常jarファイル - あなたが例えば達人でそれをパッケージ化することができます。

2、スパーク提出

• ジョブを開始し、提出方法（または正しく）いくつかの方法がありますが、あなたのスパークジョブが実行する必要があります - その通常ので、マスター
• によって定義され、あなたが瓶を持っているときフォルダ/ビンを刺激するために行くことができます仕事を持つパッケージ -

  ​​

./bin/spark-submit --class MainClass.class --master local[2] <application-jar>がありますは、ジョブ

masterため

MainClass.classエントリポイントのjarファイルとしてスパークジョブパッケージです - apacheのスパークジョブは通常、クラスタに提出されていますが、テストの目的のために、あなたはマスターとして地元を使用することができます。ここの番号は、ジョブ実行のスレッド数を定義します。

• あなたは（テストなどなど）日食の内部でスパークアプリケーションを起動したい場合は、単にプログラムでSparkContextを作成 - SparkConfと実行を使用してマスターとして設定されているローカル（私は火花がHADOOP_HOME環境変数が必要になると思う - その場合にはhadoopをダウンロードして$HADOOP_HOMEに設定してください）