私はhost-level API with a queueを使用しています。 private val (queueSource, connectionPool) = Source.queue[(HttpRequest, Promise[HttpResponse])](queueSize, OverflowStrategy.backpressure).async
.viaMat(poolF
現在11,000ファイルを処理中です。各ファイルは、前のものとの連合となるデータフレームを生成します。以下はコードです var df1 = sc.parallelize(Array(("temp",100))).toDF("key","value").withColumn("Filename", lit("Temp"))
files.foreach(filename => {
v
スパーク1.6.0でブロードキャストハッシュ結合を実行しようとしましたが、成功できませんでした。は私がDFに説明ブロードキャスト・ヒントを使用していたとしても val DF1 = sqlContext.read.parquet("path1")
val DF2 = sqlContext.read.parquet("path2")
val Join = DF1.as("tc").join(