nifi受信機とSparkストリーミングを統合するとSBTアセンブリが失敗する

Question

nifi受信機を使用してSpark Streamingアプリケーションを作成しようとしています。チュートリアルによると、ビルドファイルにsbt依存関係を追加しましたが、今度はsbt assemblyが重複排除エラーで失敗しています。

マイbuild.sbtファイルは次のとおりです。

version := "0.0.1" 

scalaVersion := "2.10.5" 

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.1" % "provided" 

libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "1.6.1" % "provided" 

libraryDependencies += "org.apache.spark" % "spark-hive_2.10" % "1.6.1" % "provided" 

libraryDependencies += "org.apache.nifi" % "nifi-spark-receiver" % "0.6.1" 

libraryDependencies += "org.apache.nifi" % "nifi-site-to-site-client" % "0.6.1" 

そして、私は取得していますエラーは次のとおりです。

[error] (*:assembly) deduplicate: different file contents found in the following: 
[error] org.apache.avro\avro-ipc\jars\avro-ipc-1.7.7-tests.jar:META-INF/maven/org.apache.avro/avro-ipc/pom.properties 
[error] org.apache.avro\avro-ipc\jars\avro-ipc-1.7.7.jar:META-INF/maven/org.apache.avro/avro-ipc/pom.properties 

誰がこの問題を解決する方法を知っていますか？

おかげで、 マルコ

Answer 1

私はこれが問題であれば全くわからないんだけど、最近誰かがそれ以外の場合は発生する可能性があり、nifi-火花受信機はスパークの「提供」の依存関係を持つべきであることを指摘しましたクラスパス上の問題

このJIRA https://issues.apache.org/jira/browse/NIFI-1803では、NiFiの次の0.xリリース（0.7がない場合は1.0）でリリースされる予定です。

mvn installを使用して0.xブランチから独自のNiFiを作成し、ローカルMavenレポで利用可能なnifi-spark-receiverの0.7.0-SNAPSHOTを試してみることができます。