2017-12-05 23 views
1

,スパークコードのコンパイル操作は、いくつかのマシンで失敗しますが、同じソースコードは他のいくつかのマシンで実行されます。 CentOSに上のエラーを確認してください(4.10.12-1.el7.elrepo.x86_64) ./build/mvn -X -DskipTests -Dscala.lib.directory =を/ usr/share/Scalaの-plコアはコンパイルプロジェクトの目標を実行できませんでしたspark-core_2.11

INFO] Building Spark Project Core 2.2.2-SNAPSHOT 
[INFO] ------------------------------------------------------------------------ 
[WARNING] The POM for org.apache.spark:spark-launcher_2.11:jar:2.2.2-SNAPSHOT is missing, no dependency information available 
[WARNING] The POM for org.apache.spark:spark-network-common_2.11:jar:2.2.2-SNAPSHOT is missing, no dependency information available 
[WARNING] The POM for org.apache.spark:spark-network-shuffle_2.11:jar:2.2.2-SNAPSHOT is missing, no dependency information available 
[WARNING] The POM for org.apache.spark:spark-unsafe_2.11:jar:2.2.2-SNAPSHOT is missing, no dependency information available 
[WARNING] The POM for org.apache.spark:spark-tags_2.11:jar:2.2.2-SNAPSHOT is missing, no dependency information available 
[WARNING] The POM for org.apache.spark:spark-tags_2.11:jar:tests:2.2.2-SNAPSHOT is missing, no dependency information available 
[INFO] ------------------------------------------------------------------------ 
[INFO] BUILD FAILURE 
[INFO] ------------------------------------------------------------------------ 
[INFO] Total time: 0.804 s 
[INFO] Finished at: 2017-12-04T23:18:58-08:00 
[INFO] Final Memory: 43M/1963M 
[INFO] ------------------------------------------------------------------------ 
[ERROR] Failed to execute goal on project spark-core_2.11: Could not resolve dependencies for project org.apache.spark:spark-core_2.11:jar:2.2.2-SNAPSHOT: The following artifacts could not be resolved: org.apache.spark:spark-launcher_2.11:jar:2.2.2-SNAPSHOT, org.apache.spark:spark-network-common_2.11:jar:2.2.2-SNAPSHOT, org.apache.spark:spark-network-shuffle_2.11:jar:2.2.2-SNAPSHOT, org.apache.spark:spark-unsafe_2.11:jar:2.2.2-SNAPSHOT, org.apache.spark:spark-tags_2.11:jar:2.2.2-SNAPSHOT, org.apache.spark:spark-tags_2.11:jar:tests:2.2.2-SNAPSHOT: Failure to find org.apache.spark:spark-launcher_2.11:jar:2.2.2-SNAPSHOT in http://artifact.eng.stellus.in:8081/artifactory/libs-snapshot was cached in the local repository, resolution will not be reattempted until the update interval of snapshots has elapsed or updates are forced -> [Help 1] 

注:同一のソースコードは、他のCentOSのマシン上を通過(3.10.0-514.el7.x86_64) ./build/mvn -DskipTests -Dscala.lib.directory =を/ usr/share /スカラ-plコアは、ビルドが特定のマシンでのみ動作する場合、それはあなたがすでにミスを持っていることを意味し

[INFO] — maven-compiler-plugin:3.7.0:compile (default-compile) @ spark-core_2.11 — 
[INFO] Not compiling main sources 
[INFO] 
[INFO] — scala-maven-plugin:3.2.2:compile (scala-compile-first) @ spark-core_2.11 — 
[INFO] Using zinc server for incremental compilation 
[info] Compile success at Dec 4, 2017 11:17:34 PM [0.331s] 
[INFO] ------------------------------------------------------------------------ 
[INFO] BUILD SUCCESS 
[INFO] ------------------------------------------------------------------------ 
[INFO] Total time: 5.663 s 
[INFO] Finished at: 2017-12-04T23:17:34-08:00 
[INFO] Final Memory: 52M/1297M 
[INFO] ------------------------------------------------------------------------ 
+0

「2.2.2-SNAPSHOT」はどこから入手しましたか?私は前にそれを見て覚えていない。 –

答えて

0

をコンパイルあなたの.m2ローカルリポジトリに依存しています。 .m2(centosマシン上)のすべてのディレクトリを削除すると、ビルドは失敗します。

不足している依存関係をすべて追加する必要があります。

[WARNING] The POM for org.apache.spark:spark-launcher_2.11:jar:2.2.2-SNAPSHOT is missing, no dependency information available 
[WARNING] The POM for org.apache.spark:spark-network-common_2.11:jar:2.2.2-SNAPSHOT is missing, no dependency information available 
[WARNING] The POM for org.apache.spark:spark-network-shuffle_2.11:jar:2.2.2-SNAPSHOT is missing, no dependency information available 
[WARNING] The POM for org.apache.spark:spark-unsafe_2.11:jar:2.2.2-SNAPSHOT is missing, no dependency information available 
[WARNING] The POM for org.apache.spark:spark-tags_2.11:jar:2.2.2-SNAPSHOT is missing, no dependency information available 
[WARNING] The POM for org.apache.spark:spark-tags_2.11:jar:tests:2.2.2-SNAPSHOT is missing, no dependency information available 
+0

返事をありがとう。 私たちの場合、リポジトリは空ではありませんでしたが、ビルドはまだ機能していませんでした。そこで、ビルドしたマシンから、失敗したサーバに.m2 /リポジトリをコピーしました。コンパイル操作を実行した後、ビルドは.m2 /リポジトリのコピー後に正常に実行されました。 私の懸念は、以前ビルドされたマシンがまったくきれいでなく、新しくインストールされたサーバーでコンパイル操作を実行しようとする最初の試みであり、他のマシンからの.m2/repoのバックアップがない場合ですどのようにこの問題を解決しますか。 – Puja

関連する問題