sbtコンソールでRDDを作成することはできますか？

私はSBTコンソールで働いていると私はコンソールでRDD[Myclass]をしたいと思い、次のsbtコンソールでRDDを作成することはできますか？

scala> import org.apache.spark._ 
scala> val sc = new SparkContext("local", "shell") 
scala> import org.apache.spark.rdd._

を輸入しています。それは可能ですか？

私がこれをやりたいのは、RDDで遊んで、テストできるサンプルデータを作成することです。テキストファイルを読み込むか、HDFSまたはS3から膨大なデータを読み込むのではなく

2016-09-29 Anthony

これは「sbtコンソール」ではなく、スパークシェルです –

あなたは 'parallelize'を試しましたか？ 'sc.parallelize（List MyClass（" a "、" b "）、MyClass（" c "、" d "）））'？ –

@ cricket_007私はbuild.sbtでプロジェクトを持っています。このプロジェクトでは 'sbt console'を実行してこのシェルに行きます。 – Anthony

sc.parallelizeを使用して、オブジェクトのListを与えることができます。

2016-09-29 12:24:29

答えて