2017-07-22 18 views
-1

カスタムクラスOmnitureDataのオブジェクトタイプを含むRDDがあります。 OmnitureDataデータには1000のデータ変数が含まれています。 S3にデータを書きたいと思います。 S3ではRDD [OmnitureData]をS3に書き込む

data: RDD[OmnitureData] 
data.saveAsTextFile(path) 

私は、データを見ています:私はOmnitureDataメンバーの実際のデータを見ることができる方法でそれを保存することができますどのように

[email protected] 
[email protected] 
[email protected] 
[email protected] 
[email protected] 

答えて

0

解決策が見つかりました。

def writeOnS3(data: RDD[OmnitureFeedOutputEntry], path: String)= { 
try { 
    val finalData: RDD[String] = data.map(x => { 
    implicit val formats = Serialization.formats(NoTypeHints) 
    write(x)}) 
    finalData.saveAsTextFile(path) 
    logger.info("task=writeOnS3, status=success") 
} catch { 
    case e: Exception => logger.error("task=writeOnS3, status=failure") 
} 

}

関連する問題