2017-08-23 3 views
-1

を失敗しましたライブラリは、カーネルは、これまでのところ、私は次のように行われている、私はノートPCから赤方偏移に接続しようとしています

ui-logs-1422> [Tue Aug 22 2017 09:46:26 GMT+0530 (IST)] [notebook.util.CoursierDeps$] Fetched artifact to:/Users/xxxx/.m2/repository/com/databricks/spark-avro_2.10/3.0.0/spark-avro_2.10-3.0.0.jar 
kernel.js:978 ui-logs-1452> [Tue Aug 22 2017 09:46:26 GMT+0530 (IST)] [notebook.util.CoursierDeps$] Fetched artifact to:/Users/xxxx/.coursier/cache/v1/http/repo1.maven.org/maven2/com/databricks/spark-redshift_2.10/3.0.0-preview1/spark-redshift_2.10-3.0.0-preview1.jar 
kernel.js:978 ui-logs-1509> [Tue Aug 22 2017 09:46:26 GMT+0530 (IST)] [notebook.util.CoursierDeps$] Fetched artifact to:/Users/xxxx/.coursier/cache/v1/http/repo1.maven.org/maven2/com/databricks/spark-csv_2.11/1.5.0/spark-csv_2.11-1.5.0.jar 
kernel.js:978 ui-logs-1526> [Tue Aug 22 2017 09:46:26 GMT+0530 (IST)] [notebook.util.CoursierDeps$] Fetched artifact to:/Users/xxxx/.coursier/cache/v1/http/repo1.maven.org/maven2/com/databricks/spark-avro_2.11/3.2.0/spark-avro_2.11-3.2.0.jar 
When i try to load a table - i run into class not found exception, 
java.lang.ClassNotFoundException: Failed to find data source: com.databricks.spark.redshift. Please find packages at http://spark.apache.org/third-party-projects.html 
    at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:594) 
    at org.apache.spark.sql.execution.datasources.DataSource.providingClass$lzycompute(DataSource.scala:86) 
    at org.apache.spark.sql.execution.datasources.DataSource.providingClass(DataSource.scala:86) 
    at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:325) 
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:152) 
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:125) 
    ... 63 elided 
Caused by: java.lang.ClassNotFoundException: com.databricks.spark.redshift.DefaultSource 
    at scala.reflect.internal.util.AbstractFileClassLoader.findClass(AbstractFileClassLoader.scala:62) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357) 
    at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25$$anonfun$apply$13.apply(DataSource.scala:579) 
    at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25$$anonfun$apply$13.apply(DataSource.scala:579) 
    at scala.util.Try$.apply(Try.scala:192) 
    at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:579) 
    at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$25.apply(DataSource.scala:579) 
    at scala.util.Try.orElse(Try.scala:84) 
    at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:579) 

他の誰がこの問題に実行しているか、これを解決したの再起動後にロードされていますか?

他の依存関係にも同様の問題があることがわかりましたが、構成に何か不足していますか?

はノートに時系列サンプルを試す - ノートブック/時系列/火花Timeseries.snb.ipynb お知らせカスタム依存関係のためのメタデータの既存のエントリ - https://spark-packages.org/package/sryza/spark-timeseries @このパッケージの

"customDeps": [ 
    "com.cloudera.sparkts % sparkts % 0.3.0" 
    ] 

素早く検証可用性

をロードされている検証ライブラリ - カーネルを再起動した後

"com.cloudera.sparkts:sparkts:0.4.1" 

を(更新メタデータは、この行を含めます)

ui-logs-337> [Wed Aug 23 2017 09:29:25 GMT+0530 (IST)] [notebook.util.CoursierDeps$] Will fetch these customDeps artifacts:Set(Dependency(com.cloudera.sparkts:sparkts,0.3.0,,Set(),Attributes(,),false,true), Dependency(com.cloudera.sparkts:sparkts,0.4.1,,Set(),Attributes(,),false,true)) 
kernel.js:978 ui-logs-347> [Wed Aug 23 2017 09:29:37 GMT+0530 (IST)] [notebook.util.CoursierDeps$] Fetched artifact to:/Users/xxxx/.coursier/cache/v1/http/repo1.maven.org/maven2/com/cloudera/sparkts/sparkts/0.4.1/sparkts-0.4.1.jar 
Error message - 

<console>:69: error: object cloudera is not a member of package com 
     import com.cloudera.sparkts._ 
       ^
<console>:70: error: object cloudera is not a member of package com 
     import com.cloudera.sparkts.stats.TimeSeriesStatisticalTests 

答えて

0

spark-notebookの別のバージョンをダウンロードしました(これはmasterブランチからのものではありません)。私はスカラを確保しなければならなかった。また

spark-notebook-0.7.0-scala-2.11.8-spark-2.1.1-hadoop-2.7.2 
against 
spark-notebook-0.9.0-SNAPSHOT-scala-2.11.8-spark-2.1.1-hadoop-2.7.2 

、& Hadoopのバージョンを火花iが設定されている依存関係を横切って無傷です。 この特定の例では、mavenリポジトリでは利用できなかったため、amazon JDBC redshiftドライバのjarファイルをコマンドラインから設定しなければなりませんでした。

export EXTRA_CLASSPATH=RedshiftJDBC4-1.2.7.1003.jar 

が、これは他の人

を役に立てば幸い
関連する問題