インストール済みのsparkとmavenを使用してSpark Scalaプログラムをjarファイルにコンパイル

Question

まだmavenに精通し、ソースコードをspark-submit用のjarファイルにコンパイルしようとしています。私はIntelliJの使い方を知っていますが、これが実際にどのように機能するかを理解したいと思います。私はsparkやscalaのような最新のソフトウェアをすべてインストールしたEC2サーバを持っていて、今はmavenでコンパイルしたいSparkPi.scalaソースコードのサンプルを持っています。私のばかげた質問は第一に、mavenリポジトリから依存関係を取得するのではなく、コードを構築するために私のインストールしたソフトウェアを使うことができますか、そして、適切な要件を追加するための基本的なpom.xmlテンプレートから始めるにはどうすればいいですか？私は、Mavenが正確に何をしているのかを完全に理解していません。私のソースコードのコンパイルをテストするにはどうしたらいいですか？ 私はそれを理解しているので、標準のディレクトリ構造src/main/scalaを持っていて、mvn packageを実行したいだけです。また、私はsbtではなくmavenでテストしたいと思います。

Answer 1

追加以下の手順に従ってpom.xmlにmvn clean packageを使用してください。 pom.xmlにbuildと表示されていることを確認してfat-jarにしてください。詳細については

<build><sourceDirectory>src</sourceDirectory> 
     <plugins><plugin> 
      <artifactId>maven-compiler-plugin</artifactId> 
      <version>3.0</version> 
      <configuration> 
       <source>1.7</source> 
       <target>1.7</target> 
      </configuration> 
     </plugin> 
      <plugin> 
      <groupId>org.apache.maven.plugins</groupId> 
      <artifactId>maven-assembly-plugin</artifactId> 
      <version>2.4</version> 
      <configuration> 
       <descriptorRefs> 
        <descriptorRef>jar-with-dependencies</descriptorRef> 
       </descriptorRefs> 
      </configuration> 
      <executions> 
       <execution> 
        <id>assemble-all</id> 
        <phase>package</phase> 
        <goals> 
         <goal>single</goal> 
        </goals> 
       </execution> 
      </executions> 
     </plugin></plugins> 
    </build> 

（これは私が瓶を作ってるんだか、私の場合です）：あなたはsbt projectを持っている場合はlink 、fat-jarを作るためにsbt clean assemblyを使用しています。そのために、あなたはまた、のようなplugin.sbtbuild.sbt

assemblyJarName := "WordCountSimple.jar" 
// 
val meta = """META.INF(.)*""".r 

assemblyMergeStrategy in assembly := { 
    case PathList("javax", "servlet", xs@_*) => MergeStrategy.first 
    case PathList(ps@_*) if ps.last endsWith ".html" => MergeStrategy.first 
    case n if n.startsWith("reference.conf") => MergeStrategy.concat 
    case n if n.endsWith(".conf") => MergeStrategy.concat 
    case meta(_) => MergeStrategy.discard 
    case x => MergeStrategy.first 
} 

の例として、以下の設定が必要になります。もっとthisとthisを参照してください

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.13.0") 

について。

ここまでの目標は、ターゲットフォルダ内のすべての依存関係でfat-jarを取得することです。このように、クラスタで実行するには、そのjarファイルを使用します。

hastimal@nm:/usr/local/spark$ ./bin/spark-submit --class com.hastimal.wordcount --master yarn-cluster --num-executors 15 --executor-memory 52g --executor-cores 7 --driver-memory 52g --driver-cores 7 --conf spark.default.parallelism=105 --conf spark.driver.maxResultSize=4g --conf spark.network.timeout=300 --conf spark.yarn.executor.memoryOverhead=4608 --conf spark.yarn.driver.memoryOverhead=4608 --conf spark.akka.frameSize=1200 --conf spark.io.compression.codec=lz4 --conf spark.rdd.compress=true --conf spark.broadcast.compress=true --conf spark.shuffle.spill.compress=true --conf spark.shuffle.compress=true --conf spark.shuffle.manager=sort /users/hastimal/wordcount.jar inputRDF/data_all.txt /output 

は、ここで私が inputRDF/data_all.txt /output二つの引数を持っています。また、ツールの観点から私はIDEとして Intellijにビルドしています。

Answer 2

あなたはmvn projectを持っている場合は、@Krishna、 へ

# create assembly jar upon code change 
sbt assembly 

# transfer the jar to a cluster 
scp target/scala-2.10/myproject-version-assembly.jar <some location in your cluster> 

# fire spark-submit on your cluster 
$SPARK_HOME/bin/spark-submit --class not.memorable.package.applicaiton.class --master yarn --num-executor 10 \ 
    --conf some.crazy.config=xyz --executor-memory=lotsG \ 
    myproject-version-assembly.jar \ 
    <glorious-application-arguments...>