apache-spark

0熱

1答えて

以下は、intellij IDE上でspark2.2.0で実行しようとしているコードです。しかし、私が得ている出力は、readble形式では見えません。 val spark = SparkSession .builder() .appName("Spark SQL basic example").master("local[2]") .getOrCreate()

-1熱

2答えて

「タスクはシリアライズできません」という例外が発生したため、UDFによるクエリが失敗するのはなぜですか？

私はUDFを作成しましたが、これを結合内の合体の結果に適用しようとしています。理想的には私は参加時にこれを実行したいと思います： def foo(value: Double): Double = { value/100 } val foo = udf(foo _) df.join(.....) .withColumn("value",foo(coalesce(new

0熱

1答えて

case文SQLをsparkAPIに書き換え

以下のSQL文をSparkAPI javaに書き直したいと思います。どのように私はこれを達成することができます。 CASE WHEN column1='abc' AND id='0' AND colNumber='31' THEN 'Group A' WHEN column1='def' AND id='0' AN

0熱

1答えて

Spark Scalaで行データを列に転記/ピボットする方法はありますか？

Spark-SQLの新機能です。私は、SQLスパークを助けてください、私はこれをacheiveすることはできませんよ、次の Company X-type Y-type Z-type A done done done B pending done pending C done done pending のように表示させたいのです。この Company Type Status A

0熱

1答えて

SpruckStreamingとTranquilityによってドルイドに書き込むことができません

Spru Streamingジョブの結果をドルイドのデータソースに書き込もうとしています。 SparkはDruidに就職して成功しました。ドルイドはインデックス作成を開始しますが、何も書きません。次のように私のコードとログは、次のとおりです。 import org.apache.spark._ import org.apache.spark._ import org.apache.spark

1熱

3答えて

同じ列のデータセットを結合して1つを選択する方法は？

私は2つのSparkデータフレームを持っています。後で参加して選択します。私は、データフレームの1つの特定の列を選択したいと思います。しかし、同じ列名が他の列名に存在します。したがって、私はあいまいな列の例外を取得しています。 d1.as("d1").join(d2.as("d2"), $"d1.id" === $"d2.id", "left").select($"d1.columnName")

1熱

1答えて

java.lang.IllegalArgumentException：クラスが登録されていません：scala.reflect.ClassTag $$ anon $ 1

私はSpark、GraphX 2.0.2およびIntelliJを使用しています。は、私はエラーを得た： kryo.register(classOf[GraphImpl[Object,Object]]) を、私はこのエラーを得た： Class is not registered: org.apache.spark.graphx.impl.GraphImpl だから私は、追加 java.la

1熱

1答えて

spark.streaming.blockIntervalはRDDパーティションにどのように関係していますか？

spark.streaming.blockIntervalのブロックとSpark StreamingのRDDパーティションのブロックの違いは何ですか？ 2.2.0ドキュメントストリーミングスパークを引用：ほとんどの受信機については、受信したデータはスパークのメモリ内格納する前にデータのブロックに一緒に合体されます。各バッチ内のブロック数によって、受信したデータをマップ形式の変換で処理するために

0熱

2答えて

Scala/SparkでHDFSからテキストファイルを読む

私はScalaとSparkを使用しており、XMLファイルを単一の文字列として読み込みたいと考えています。これを行うには、すっきりとしたScala-ishの方法を見つけるのに苦労しています。私が最初に考えたのは val fileContents: RDD[String] = sparkContext.textfile(pathToFile) val combinedContents: Stri