Spark DataframeをDeepLearning4Jモデルに入力

Question

私のデータはsparkdataframe（df）で24個のフィーチャを持ち、25番目のカラムはターゲット変数です。私はこのdatasetに私の​​モデルを適合させ、org.nd4j.linalg.api.ndarray.INDArray, org.nd4j.linalg.dataset.Datasetまたはorg.nd4j.linalg.dataset.api.iterator.DataSetIteratorという形で入力します。 dataframeを必要なタイプに変換するにはどうすればよいですか？

また、モデルに直接sparkデータフレームを入力するためにPipelineメソッドを使用しようとしました。しかし、dl4j-spark-mlのsbt依存性は機能しません。私のbuild.sbtファイルは

scalaVersion := "2.11.8" 

libraryDependencies += "org.deeplearning4j" %% "dl4j-spark-ml" % "0.8.0_spark_2-SNAPSHOT" 

libraryDependencies += "org.deeplearning4j" % "deeplearning4j-core" % "0.8.0" 

libraryDependencies += "org.nd4j" % "nd4j" % "0.8.0" 

libraryDependencies += "org.nd4j" % "nd4j-native-platform" % "0.8.0" 

libraryDependencies += "org.nd4j" % "nd4j-backends" % "0.8.0" 

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.1" 

libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.0.1" 

ここから私を導くことができますか？前もって感謝します。

Answer 1

spark.mlの統合を読み込んだスナップショットを使用できます。 スナップショットを使用する場合は、OSS sonatypeリポジトリを追加：この記事の執筆時点で https://github.com/deeplearning4j/dl4j-examples/blob/master/dl4j-examples/pom.xml#L16 にバージョンがある： https://github.com/deeplearning4j/dl4j-examples/blob/master/pom.xml#L21： 0.8.1-SNAPSHOT

かかわら例レポで最新バージョンを確認してください。

dl4jのバージョンを混在させることはできません。あなたが使用しようとしているバージョンは、非常に（1年以上）です。それ以上の最新バージョンにアップグレードしてください。

新しいspark.ml統合例がここで見つけることができます： https://github.com/deeplearning4j/deeplearning4j/tree/master/deeplearning4j-scaleout/spark/dl4j-spark-ml/src/test/java/org/deeplearning4j/spark/ml/impl

は通常 org.deeplearning4jのようなものである適切な依存関係を、追加してください：dl4j-火花ミリリットル_ $ {YOUR SCALA BINARYあなたのスパークバージョン（1または2） - スナップショット