R/Python put_file()
DSXのScalaノートブックからオブジェクトを取得し、それをプロジェクトのデータ資産として保存する方法と同等の方法はありますか?もしそうなら、どんなドキュメンテーションですか?この資料に記載されたもののようなものを探して:
https://datascience.ibm.com/blog/working-with-object-storage-in-data-science-experience-python-edition/
私はすでに私がノートブック内たいCSVファイルを書かれている、ちょうどプロジェクトに保存する必要があります!Scalaのput_file()関数?
0
A
答えて
0
次の手順とコードスニペットを試してください。
手順1:最初に資格情報を生成します。 DSXの[ファイルとデータの追加]ペインの[ファイル]タブから[コードに挿入 - >スパークセッションデータフレームを挿入]をクリックすると(ブラウザから既にアップロードされているファイルの場合)、そのファイルを生成できます。
def setHadoopConfig2db1c1ff193345c28eaffb250b92d92b(name: String) = {
val prefix = "fs.swift.service." + name
sc.hadoopConfiguration.set(prefix + ".auth.url", "https://identity.open.softlayer.com" + "/v3/auth/tokens")
sc.hadoopConfiguration.set(prefix + ".auth.endpoint.prefix","endpoints")
sc.hadoopConfiguration.set(prefix + ".tenant", "<tenant id>")
sc.hadoopConfiguration.set(prefix + ".username", "<userid>")
sc.hadoopConfiguration.set(prefix + ".password", "<password.")
sc.hadoopConfiguration.setInt(prefix + ".http.port", 8080)
sc.hadoopConfiguration.set(prefix + ".region", "dallas")
sc.hadoopConfiguration.setBoolean(prefix + ".public", false)
}
val name = "keystone"
setHadoopConfig2db1c1ff193345c28eaffb250b92d92b(name)
val data_frame1 = spark.read.option("header","true").csv("swift://'Your
DSXProjectName'.keystone/<your file name>.csv")
は、ステップ2:ファイルへのdata_frame2のデータを保存しながら、オブジェクトストアに同じコンテナおよびプロジェクト名を使用し
data_frame2.write.option("header","true").csv("swift://'Same DSXproject name as before'.keystone/<name of the file u want to write the data>.csv")
:後data_frame1からdata_frame2を作成し、いくつかのコード何らかの変換
ステップ3を言います
ステップ1でクレデンシャルを生成し、それを使って現在のノートブックにデータフレームを保存することができます。
関連する問題
- 1. Scalaのジェネリック関数のヘルプ
- 2. Scalaの関数の構成
- 3. javaのnode.getTagNameのscala関数
- 4. Scalaは関数のシンタックス
- 5. ジェネリックキャスト関数の記述Scala
- 6. Scalaの高階関数
- 7. Scalaの関数型プログラミングオペレータ:::
- 8. 高次のScala関数
- 9. Intellij Scala数学関数のインポート
- 10. 関数定義Scalaで
- 11. scala generic関数戻り型
- 12. ScalaとSpark UDF関数
- 13. Scala DB?関係代数?
- 14. Scala汎用Monad関数?
- 15. scala関数リテラル混同
- 16. ウィンドウ関数/ scala/spark 1.6
- 17. Scala REPL:関数型の検索方法は? ScalaのREPLで
- 18. Scalaのインスタンスメソッドの関数値を取得
- 19. Applicativeのリフティング、関数3、...のScala +猫
- 20. Scalaで関数間のアンパサンドの意味
- 21. Scalaでの部分関数の作成
- 22. Scala関数からJava関数への暗黙的変換
- 23. scala:関数宣言との照合
- 24. 理解reduceByKey関数定義スパークScalaの
- 25. Scalaの引数としての複数行の関数リテラル
- 26. Scala関数をJS関数に変換する
- 27. Scala関数をKotlin関数に変換する
- 28. JavaとScalaで変化する関数
- 29. Scala - 単純な関数を持つVerifyError
- 30. Scala:ジェネリック型を返すラッパー関数
DSXのスパークデータフレームをscalaのオブジェクトストレージに保存しようとしていますか? yesの場合、spark 2.0の構文 spark.write.csv(<高速オブジェクト保存用に読み取り機能で使用したパスを指定する>) –