私はipythonノートブックでpysparkを使用しており、netezzaデータベースにアクセスしています。私はbluemixに似たようなことをしようとしています。問題は、netezzaにアクセスするために、pysparkの起動にパラメータを追加する必要があることです。ブルーエックスでどうすればいいですか？ここで私はpysparkをスタンドアロンで起動する方法です：bluemix pysparkにパラメータを追加する方法
$ PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" /usr/local/src/spark/spark-1.6.1-bin-hadoop2.6/bin/pyspark --packages com.ibm.SparkTC:spark-netezza_2.10:0.1.1 --driver-class-path /usr/local/src/netezza/jdbc/lib/nzjdbc3.jar
あなたはBluemixにPySparkを開始するためのパラメータを変更することはできません。 %AddJarカーネルマジックは、Scalaノートブックでのみ動作します。 Pythonノートブックでは動作しません。
Netezza nzjdbc3.jar用のドライバが提供され、サポートされている必要があります。現在のところ、これはユーザーが行うことはできません。
更新：
nzjdbc3.jarは、箱から出してサポートされていません。あなたは電子メールでフィードバックを提出して、ドライバがサポートされるように頼むことができます。
PySparkのドライバを有効にするもう1つの方法は、PySpark設定の対象となる場所にjarファイルを置くことです。
まず、次のコマンドを使用してUSER_IDを見つける：
!whoami
その後、nzjdbc3.jarを取得し、次の場所にそれを置く：言及へnzjdbc3.jarを入れて
/gpfs/fs01/user/USER_ID/data/libs
一つの方法場所は使用するwget：
!wget URI_TO_JAR_FILE -P /gpfs/fs01/user/USER_ID/data/libs
上記の場所にドライバjarがダウンロードされたら、カーネルを再起動する必要があります。新しいカーネルの作成中に、前述の場所にあるすべてのファイルはPySparkとみなされます。
bluemixがNetezza nzjdbc3.jarを提供する管理者を呼び出す可能性はありますか？私はブルーミックスでの作業が苦労していることを知っています。 – webe3
私は2つの可能な解決策を提供するために私の答えを更新しました。私は別のjarファイルのために 'wget'を使ってアプローチを試みました。それは私のために働いていました。 –
通常、ノートブックインタフェースでは、マジックを使用してjarファイルを追加するだけです。Addjar -f これを実行すると、そのjarファイルを使用するか、瓶。例： ％Addjar -f https://github.com/SparkTC/spark-netezza/releases/download/v0.1.1/spark-netezza-assembly-0.1.1.jar 私は試してみましたが、私はnetezzaドライバをimport文で見ることができます import com.ibm.spark.netezzaは実行できませんが、文を実行すると直列化可能な問題が発生します。 –
私は％AddJarを試しましたが、エラーが発生しました：ラインマジック関数 '％AddJar'が見つかりません。私は$ AddJarはスカラーノート用であり、ノートブック用のものではないと思います。私も小文字のjで$ Addjarを試してみて、同じエラーが出ました。 – webe3