2017-07-18 11 views
0

R/Python put_file() DSXのScalaノートブックからオブジェクトを取得し、それをプロジェクトのデータ資産として保存する方法と同等の方法はありますか?もしそうなら、どんなドキュメンテーションですか?この資料に記載されたもののようなものを探して:
https://datascience.ibm.com/blog/working-with-object-storage-in-data-science-experience-python-edition/
私はすでに私がノートブック内たいCSVファイルを書かれている、ちょうどプロジェクトに保存する必要があります!Scalaのput_file()関数?

+0

DSXのスパークデータフレームをscalaのオブジェクトストレージに保存しようとしていますか? yesの場合、spark 2.0の構文 spark.write.csv(<高速オブジェクト保存用に読み取り機能で使用したパスを指定する>) –

答えて

0

次の手順とコードスニペットを試してください。

手順1:最初に資格情報を生成します。 DSXの[ファイルとデータの追加]ペインの[ファイル]タブから[コードに挿入 - >スパークセッションデータフレームを挿入]をクリックすると(ブラウザから既にアップロードされているファイルの場合)、そのファイルを生成できます。

def setHadoopConfig2db1c1ff193345c28eaffb250b92d92b(name: String) = { 

    val prefix = "fs.swift.service." + name 
    sc.hadoopConfiguration.set(prefix + ".auth.url", "https://identity.open.softlayer.com" + "/v3/auth/tokens") 
    sc.hadoopConfiguration.set(prefix + ".auth.endpoint.prefix","endpoints") 
    sc.hadoopConfiguration.set(prefix + ".tenant", "<tenant id>") 
    sc.hadoopConfiguration.set(prefix + ".username", "<userid>") 
    sc.hadoopConfiguration.set(prefix + ".password", "<password.") 
    sc.hadoopConfiguration.setInt(prefix + ".http.port", 8080) 
    sc.hadoopConfiguration.set(prefix + ".region", "dallas") 
    sc.hadoopConfiguration.setBoolean(prefix + ".public", false) 
} 

val name = "keystone" 
setHadoopConfig2db1c1ff193345c28eaffb250b92d92b(name) 

val data_frame1 = spark.read.option("header","true").csv("swift://'Your 
DSXProjectName'.keystone/<your file name>.csv") 

は、ステップ2:ファイルへのdata_frame2のデータを保存しながら、オブジェクトストアに同じコンテナおよびプロジェクト名を使用し

data_frame2.write.option("header","true").csv("swift://'Same DSXproject name as before'.keystone/<name of the file u want to write the data>.csv") 
:後data_frame1からdata_frame2を作成し、いくつかのコード何らかの変換

ステップ3を言います

ステップ1でクレデンシャルを生成し、それを使って現在のノートブックにデータフレームを保存することができます。