スケーラを使用したRDDの作成

Question

RDD[((String, String, String), String, DateTime)]を作成します。タプルStringとDateTimeの値を使用し、テキストファイルから読み込むのではなく、メソッド内で作成できますか？

私はこれを作成するためにScalaを使用しています。

実際には、以下の方法でRDD [（（String、String、String）、String、DateTime）]を作成したかったのです。

def getRDDForPersistance(sparkContext: SparkContext): RDD[((String, String, String), String, DateTime)] = { 
    var stringTouple = ("organization_name", "product_name", "resource_id") 
    var resourceName = "test_resource_name" 
    val date: DateTime = DateTime.now() 
    var rdd = sparkContext.parallelize(Seq(stringTouple, resourceName, date)) 

しかし、作成したRDDを返すことはできません。このメソッドが返す予定のRDDを返さないようです。では、RDD [（（String、String、String）、String、DateTime）]をどのように作成できますか。

val myStruct: List[((String, String, String), String, DateTime)] = ... 
val myRDD = sparkContext.parallelize(myStruct) 

Answer 1

あなたは、配列をwithingパラメータを渡すしようとすると、構文エラーがあります：あなたが好きなものを探しています.... 戻りRDD }

Answer 2

を助けてください。以下のコードを試してください。

def getRDDForPersistanceX(sparkContext: SparkContext): RDD[((String, String, String), String, DateTime)] = { 
    var stringTouple = ("organization_name", "product_name", "resource_id") 
    var resourceName = "test_resource_name" 
    val date: DateTime = DateTime.now() 
    var rdd = sparkContext.parallelize(Seq((stringTouple, resourceName, date))) 
return rdd 

}