Spark MLLibアルゴリズムとSparkling Waterを使用したH2O aiの統合

Question

Spark MLLibのCollaborativeアルゴリズムをH2o Aiと統合するために、製品の推奨としてSparkling Waterを使用しています。私は、このリンク

http://spark.apache.org/docs/latest/mllib-collaborative-filtering.html

に続き、私は

Exception in thread "main" java.util.NoSuchElementException: key not found: StructType(StructField(user,IntegerType,false), StructField(product,IntegerType,false), StructField(rating,DoubleType,false)) 
    at scala.collection.MapLike$class.default(MapLike.scala:228) 
    at scala.collection.AbstractMap.default(Map.scala:59) 
    at scala.collection.MapLike$class.apply(MapLike.scala:141) 
    at scala.collection.AbstractMap.apply(Map.scala:59) 
    at org.apache.spark.h2o.utils.ReflectionUtils$.vecTypeFor(ReflectionUtils.scala:132) 
    at org.apache.spark.h2o.converters.SparkDataFrameConverter$$anonfun$3.apply(SparkDataFrameConverter.scala:68) 
    at org.apache.spark.h2o.converters.SparkDataFrameConverter$$anonfun$3.apply(SparkDataFrameConverter.scala:68) 
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234) 
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234) 
    at scala.collection.Iterator$class.foreach(Iterator.scala:893) 
    at scala.collection.AbstractIterator.foreach(Iterator.scala:1336) 
    at scala.collection.IterableLike$class.foreach(IterableLike.scala:72) 
    at scala.collection.AbstractIterable.foreach(Iterable.scala:54) 
    at scala.collection.TraversableLike$class.map(TraversableLike.scala:234) 
    at scala.collection.AbstractTraversable.map(Traversable.scala:104) 
    at org.apache.spark.h2o.converters.SparkDataFrameConverter$.toH2OFrame(SparkDataFrameConverter.scala:68) 
    at org.apache.spark.h2o.H2OContext.asH2OFrame(H2OContext.scala:132) 
    at org.apache.spark.h2o.H2OContext.asH2OFrame(H2OContext.scala:130) 
    at com.poc.sample.RecommendataionAlgo$.main(RecommendataionAlgo.scala:54) 
    at com.poc.sample.RecommendataionAlgo.main(RecommendataionAlgo.scala) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:498) 
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:147) 

がどのように解決することができ、以下のエラーを取得していますのIntelliJでコードを実行すると

System.setProperty("hadoop.home.dir", "D:\\backup\\lib\\winutils") 
    val conf = new SparkConf() 
     .setAppName("Spark-InputFile processor") 
     .setMaster("local") 

    val sc = new SparkContext(conf) 

    val inputFile = "src/main/resources/test.data" 

    val data = sc.textFile(inputFile) 

    val ratings = data.map(x=>{ 
     val mapper = x.split(",") 
     Rating(mapper(0).toInt,mapper(1).toInt,mapper(2).toDouble) 
    }) 
    // Build the recommendation model using ALS 
    val rank = 10 
    val numIterations = 10 
    val model = ALS.train(ratings, rank, numIterations, 0.01) 



    // Save and load model 
    model.save(sc, "target/tmp/myCollaborativeFilter") 
    val sameModel = MatrixFactorizationModel.load(sc, "target/tmp/myCollaborativeFilter") 

    val modelRdd = sameModel.recommendProductsForUsers(100) 

    implicit val sqlContext = SparkSession.builder().getOrCreate().sqlContext 
    import sqlContext.implicits._ 

    val modelDf = modelRdd.toDF("Rdd","Rdd1") 




    @transient val hc = H2OContext.getOrCreate(sc) 

    val h2oframe:H2OFrame = hc.asH2OFrame(modelDf) 

以下のようにコードを更新しますこのエラー？

ありがとうございます。

Answer 1

modelRddは（スカラまたは同等の）タイプTuple2<Object, Rating>のものであろう、Ratingたち（スパークリングウォーター）が（それはString, Double, Float etc.ないもそれはProductを実装してない）のための自動変換を提供タイプではありません。間違いなくもっと意味のあるエラーメッセージを投げる必要があります。代わりに、あなたは4列Object, user, product, ratingでDFにそれをマッピングして、hc.asH2OFrame()を使用することができますmodelRdd.toDF("Rdd","Rdd1")でObject, Ratingでデータフレームを作るこれを修正するには

。