1

は、以前のCouchDBはcloudantコネクタを介してサポートされていました:DataScienceエクスペリエンスでSparkSQLを使用してCloudand/CouchDBに接続する方法は?

https://github.com/cloudant-labs/spark-cloudant

しかし、このプロジェクトでは、それはもはや有効ではないと述べて、それがApacheのBahirに移動していること:だから

http://bahir.apache.org/docs/spark/2.1.1/spark-sql-cloudant/

私は」次のコマンドを使用して、ScalaノートブックにJARをインストールしました。

spark = SparkSession\ 
    .builder\ 
    .appName("Cloudant Spark SQL Example in Python using dataframes")\ 
    .config("cloudant.host","0495289b-1beb-4e6d-888e-315f36925447-bluemix.cloudant.com")\ 
    .config("cloudant.username", "0495289b-1beb-4e6d-888e-315f36925447-bluemix")\ 
    .config("cloudant.password","xxx")\ 
    .config("jsonstore.rdd.partitions", 8)\ 
    .getOrCreate() 

# ***1. Loading dataframe from Cloudant db 
df = spark.read.load("openspace", "org.apache.bahir.cloudant") 
df.cache() 
df.printSchema() 
df.show() 

しかし、私は得る:0%AddJar http://central.maven.org/maven2/org/apache/bahir/spark-sql-cloudant_2.11/2.1.1/spark-sql-cloudant_2.11-2.1.1.jar

はその後、Pythonのノートブックから、カーネルを再起動した後、私はテストに次のコードを使用し

javaの。 lang.ClassNotFoundException:org.apache.bahir.cloudant.DefaultSource

0 1つの回避策はあり

答えて

2

、それはjupytherノート環境のすべての種類に実行して、IBMデータサイエンス体験に排他的ではないはずです。

--upgrade pixiedustに

輸入pixiedust

をインストールPIP!

pixiedust.installPackage( "cloudant-ラボ:火花cloudant:2.0.0-s_2.11")

これは、一度awailable公式の答えを投稿します、もちろん回避策です

EDIT:

が再起動し、その後

1

別の回避策以下jupyterカーネルを忘れないでください。テスト済みで、DSXのPythonノートブックで動作します。

import pixiedust 

# Use play-json version 2.5.9. Latest version is not supported at this time. 
pixiedust.installPackage("com.typesafe.play:play-json_2.11:2.5.9") 
# Get the latest sql-cloudant library 
pixiedust.installPackage("org.apache.bahir:spark-sql-cloudant_2.11:0") 

spark = SparkSession\ 
    .builder\ 
    .appName("Cloudant Spark SQL Example in Python using dataframes")\ 
    .config("cloudant.host", host)\ 
    .config("cloudant.username", username)\ 
    .config("cloudant.password", password)\ 
    .getOrCreate() 

df = spark.read.load(format="org.apache.bahir.cloudant", database="MY-DB") 
関連する問題