2016-09-16 17 views
3

(スカラ座2.10.5)次のコードは、シェルでうまく働いていた:スパーク2.0 Scalaのimport文

import org.apache.spark.mllib.linalg.Vector 
case class DataPoint(vid: String, label: Double, features: Vector) 

mllib Vectorが正しくScalaのベクトルを影。

<console>:11: error: type Vector takes type parameters 
    case class DataPoint(vid: String, label: Double, features: Vector) 

それは私が今、明示的にクラスを指定する必要があり、仕事にするために:

しかし、スパーク2.0(スカラ座2.11.8)に同じコードがシェルで次のエラーがスローされます

case class DataPoint(vid: String, label: Double, 
    features: org.apache.spark.mllib.linalg.Vector) 

変更された内容を教えてもらえますか?SparkやScalaはここで間違っていますか?ありがとう!

+2

彼らは火花シェルが輸入を行う方法を変更し、それのための優秀なバグがあります。あなたはシェルから走ることについて話していますか? –

+0

@ som-snyttはいシェルから実行しています - ありがとう - 質問を更新しました。それはおそらくバグでしょう。 – Roman

答えて

3

最も簡単な解決策は、この問題にあるが、単純なpasteです:

Welcome to 
     ____    __ 
    /__/__ ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/ '_/ 
    /___/ .__/\_,_/_/ /_/\_\ version 2.1.0-SNAPSHOT 
     /_/ 

Using Scala version 2.11.8 (OpenJDK 64-Bit Server VM, Java 1.8.0_102) 
Type in expressions to have them evaluated. 
Type :help for more information. 

scala> import org.apache.spark.mllib.linalg.Vector 
import org.apache.spark.mllib.linalg.Vector 

scala> case class DataPoint(vid: String, label: Double, features: Vector) 
<console>:11: error: type Vector takes type parameters 
     case class DataPoint(vid: String, label: Double, features: Vector) 
                   ^

scala> :paste 
// Entering paste mode (ctrl-D to finish) 

import org.apache.spark.mllib.linalg.Vector 
case class DataPoint(vid: String, label: Double, features: Vector) 

// Exiting paste mode, now interpreting. 

import org.apache.spark.mllib.linalg.Vector 
defined class DataPoint 
+0

ありがとうございます@ zero323 - あなたのソリューションは動作します!あなたはそれがうまくいくものを詳しく教えてもらえますか? – Roman

+1

行単位での作業との違いは、ブロック全体が一緒にコンパイルされることです。基本的に同じことを、 '{import ....;ケースクラスDataPoint(...)} '(私は知っている、有用ではない)または単一のオブジェクトでラップする。しかし、これを上流に修正する方法を尋ねるなら、私は分かりません。真剣な方法でシェルをつけて火かき棒をつけ、そこにはかなりの醜いバグがある(ケースクラスのモンスター)(http://stackoverflow.com/q/35301998/1560062)。 – zero323

+0

ありがとうございます! – Roman

関連する問題