sparkを使用してSpring RESTハンドラを介してアップロードされたCSVを読み取る方法は？

Question

私はスパークとデータフレームを初めて使用しています。ファイルシステムの指定されたパスからCSVを読み込むために、databricksライブラリによって提供された以下のコード部分を見つけました。

sqlContext.read.format("com.databricks.spark.csv") 
    .option("header", "true") 
    .load("../Downlos/2017.csv") 

代わりに、ファイルシステムからの読み取りのHTTPリクエストからバイト配列を解析したCSV databricksのいずれかのAPIはありますか？

ここでは、Spark DataFramesを使用してSpring RESTハンドラを使用してアップロードされたマルチパート（CSV）ファイルを読み込みます。私は、ファイルシステムから読み込む代わりに、ファイル/バイト配列を入力としてロードできるdataframe APIを探しています。

ファイルから、特定の条件（たとえば、解析された各 行の文字列 "再生"と等しくない任意の列値）に一致する各行の列のみを選択し、それらのフィールドのみを元に戻す必要がありますデータベースに転送します。

上記のUsecaseがRDDの/ Dataframesを使用してスパークできるかどうかは誰にも示唆できますか？これについての提案は非常に役に立ちます。

Answer 1

Stringに直接変換することはできません。convertにはtostringを入力し、RDDを作成する必要があります。 チェックこの：URL contents to a String or file

val html = scala.io.Source.fromURL("https://spark.apache.org/").mkString 
val list = html.split("\n").filter(_ != "") 
val rdds = sc.parallelize(list) 
val count = rdds.filter(_.contains("Spark")).count() 

ScalafromURLApi