Yarnを使用してspark over hbaseとhadoopを使用すると、 のアセンブリライブラリがサーバー側に用意されています。 (spark-looongVersion-haddop-looongVersion.jarのように呼ばれます) には、多数のライブラリが含まれています。assembly jarをデプロイして、それを提供された依存関係として使用する方法は?
スパークジャーを実行するためのサーバにジョブとして送信される場合、競合がライブラリ間で生じる可能性は、ジョブとサーバーライブラリ(アセンブリジャーおよびおそらく他のライブラリ)に含まれます。
クライアント依存関係とサーバークラスパスの間の競合を避けるために、このアセンブリjarを "提供された" maven依存関係として含める必要があります。 このアセンブリjarを提供された依存関係として展開して使用するにはどうすればよいですか?
[OK]を、私はindividualy提供依存関係として、それぞれが含まれていた場合、展開した後、私は提供依存関係として組み立てジャーが含まれている場合ので、(WEB-INFの下でファイル内のアーチファクトとバージョンによって記載されている)内のすべてのライブラリが同様に除外されますか? – user1767316
アセンブリ・ジャーがサーバー上で使用されておらず、サーバーによってhadoopインストールから提供されていませんか?したがって、すべてのチームが同じものを使用してはいけませんか? – user1767316