Spark：変更されたスパークを構築するときのネームスペースの競合の回避

Question

jarファイルにカスタムスパークを構築しています。そして、私はデフォルトのスパークビルドを使用してそれを使用したいと思います。

org.apache.spark.allOfSparkからorg.another.spark.allOfSparkにネームスペースを変更するにはどうすればよいですか？

モジュールをインポートする際の競合を避けるため、これを行う必要があります。前もって感謝します。

Answer 1

ビルドツールによっては、Mavenのrelocation機能を使用して、ビルド時にカスタムスパークを新しいパッケージに移動することができます。 sbtや他のビルドツールにも同様の機能があります。

プロジェクトのビルドに使用しているものを指定した場合は、さらに問題の解決に役立てることができます。

- ここUPDATE

はあなたが始める助けるべきであるあなたのpom.xmlのためのサンプルコードです：

<project> 
    <!-- Your project definition here, with the groupId, artifactId, and it's dependencies --> 
    <build> 
    <plugins> 
     <plugin> 
     <groupId>org.apache.maven.plugins</groupId> 
     <artifactId>maven-shade-plugin</artifactId> 
     <version>2.4.3</version> 
     <executions> 
      <execution> 
      <phase>package</phase> 
      <goals> 
       <goal>shade</goal> 
      </goals> 
      <configuration> 
       <relocations> 
       <relocation> 
        <pattern>org.apache.spark</pattern> 
        <shadedPattern>shaded.org.apache.spark</shadedPattern> 
       </relocation> 
       </relocations> 
      </configuration> 
      </execution> 
     </executions> 
     </plugin> 
    </plugins> 
    </build> 

</project> 

これは効果的shaded.org.apache.sparkあなたと呼ばれる新しいパッケージにスパークのすべてを移動しますアプリケーションをパッケージ化します（Mavenにjarを生成するよう依頼したとき）。

特定のパッケージを除外する必要がある場合は、<exclude>タグをMavenの再配置のリンクに示すように使用できます。

あなたが達成しようとしているのは、単にSparkの一部をカスタマイズするだけの場合、Spark's codeをフォークしてMLLibの一部を直接書き直して、あなた専用にビルドしてくださいそれは便利です）。

Mavenからの依存関係として単純に取り込み、変更しているクラスを上書きするだけで、元のSparkパッケージのクラスではなく独自のクラスを使用する必要があります。