2016-06-13 5 views
2

私はスパークするのが新しいです。 postgresからjava sparkにデータをロードしたい。このために私はSQLContextを作成しますが、次のエラーを取得しています:私は間違って取得していますSQLContextが作成されていません:NoClassDefFoundError:org/apache/spark/sql/catalyst/rules/RuleExecutor

enter image description here

を?これをどうすれば解決できますか?

+0

クラスパスにスパーク触媒ジャーが入っているかどうか確認できますか? – uday

+0

は触媒ジャーを追加しましたが、現在スレッド "main"の例外が発生しています。java.lang.NoClassDefFoundError:org/apache/parquet/hadoop/ParquetOutputCommitterエラー – z22

+0

parquet-hadoop jarをクラスパスに追加します。アプリケーションの依存関係をどのように管理していますか? – uday

答えて

2

次の依存関係をmaven pom.xmlに追加します。

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-catalyst_2.10</artifactId> 
    <version>1.6.1</version> 
</dependency> 
0

この問題を解決するには、ビルド/クラスパスに 'spark-catalyst_2.10.jar'を追加してください。

+0

が追加され、スレッド "main"の例外が発生するjava.lang.NoClassDefFoundError:org/apache/parquet/hadoop/ParquetOutputCommitterエラー – z22

+1

このjar-parquet-hadoop-1.2.4.jarをビルド/クラスパスに追加します。サポートされているすべてのジャーが追加されていることを確認してください。 – Bhuvanwaitz

関連する問題