2017-12-07 16 views
1

注:私はSpark 2.2.0を使用しています。私ツェッペリンのノートブックから私のScalaのコードを実行しようとしApache SparkのTimeクラス/タイプの使用

%spark 
import org.apache.spark.SparkConf 
import org.apache.spark.SparkContext 
import org.apache.spark.streaming.{Time, Seconds, StreamingContext} 
... 
... 
case class Record(time: Time, topic: String, count: Integer) 
... 
... 

import org.apache.spark.streaming.{Time, Seconds, StreamingContext}私はツェッペリン段落/ブロックを実行しようとすると、私はTime

を使用できるようにする必要があるとき、私はエラーを取得していますこのエラーが発生しています:
<console>:12: error: not found: type Time
case class Record(time: Time, topic: String, count: Integer)

問題は何か? TimeはSpark 2で廃止されましたか? Timeの代替手段はありますか?一般的に

答えて

0

、構造化されたストリーミングをスパークSQLを使用して、またはスパークとき、私はjava.sql.Timestampjava.sql.Dateにこだわるお勧めすることができます、彼らは完全に生態系に統合されているカスタムシリアライザを必要としないという意味とがあるvery nice built-in functions(でそれらを検索Date functionsセクション)を使用できます。

関連する問題