GraphFrames jarを持つ "spark-shell - jars"は、 "エラー：クラスファイル 'Logging.class'を読み込んでいるときに依存関係が見つからないか無効です。

Question

私はコマンドspark-shell --jars /home/krishnamahi/graphframes-0.4.0-spark2.1-s_2.11.jarを実行しているし、それは私がスパークバージョン2.1.1を使用しています私にエラー

error: missing or invalid dependency detected while loading class file 'Logging.class'. Could not access term typesafe in package com, because it (or its dependencies) are missing. Check your build definition for missing or conflicting dependencies. (Re-run with -Ylog-classpath to see the problematic classpath.) A full rebuild may help if 'Logging.class' was compiled against an incompatible version of com. error: missing or invalid dependency detected while loading class file 'Logging.class'. Could not access term scalalogging in value com.typesafe, because it (or its dependencies) are missing. Check your build definition for missing or conflicting dependencies. (Re-run with -Ylog-classpath to see the problematic classpath.) A full rebuild may help if 'Logging.class' was compiled against an incompatible version of com.typesafe. error: missing or invalid dependency detected while loading class file 'Logging.class'. Could not access type LazyLogging in value com.slf4j, because it (or its dependencies) are missing. Check your build definition for missing or conflicting dependencies. (Re-run with -Ylog-classpath to see the problematic classpath.) A full rebuild may help if 'Logging.class' was compiled against an incompatible version of com.slf4j.

を投げ、Scalaのバージョン2.11.8、JDKのバージョン1.8.0_131、CentOS7 64ビット、Hadoopの2.8。 0。誰でもプログラムの完璧な実行のために追加のコマンドを与える必要がありますか教えてください？前もって感謝します。

Answer 1

GraphFramesを再生する場合は、代わりに--packagesコマンドラインオプションspark-shellを使用してください。私はGraphFramesプロジェクトのHow toセクションからそのままコピー

$SPARK_HOME/bin/spark-shell --packages graphframes:graphframes:0.4.0-spark2.1-s_2.11 

を次のようになるだろうgraphframes-0.4.0-spark2.1-s_2.11.jarについては

--packages Comma-separated list of maven coordinates of jars to include on the driver and executor classpaths. Will search the local maven repo, then maven central and any additional remote repositories given by --repositories . The format for the coordinates should be groupId:artifactId:version.

。

このように、GraphFramesライブラリのすべての（推移的な）依存関係を検索する必要はありません.Sparkが自動的にそれを行います。

Answer 2

私は、すべてのコンポーネントHive、Pig、Sparkの最新バージョンを使用して、生のHadoopをインストールしました。それは私のために働いた。 IコンポーネントとのHadoopをインストールするためセントOS 7順序を使用

1. Anaconda3 /のpython3
2. Hadoopの
3. ブタ
4. ハイブ（スパーク2.xはPythonの2をサポートしていないので）
5. ありますHBaseの

すべてのコンポーネントは、同じ端末で、単一の実行であるべきスパーク。 Sparkのインストール後、システムを再起動します。