apache-spark-dataset

4熱

1答えて

入力CSV Dataset.filterスパークにおけるこのヌルエラーの取得： name,age,stat abc,22,m xyz,,s 操作コード：（ case class Person(name: String, age: Long, stat: String) val peopleDS = spark.read.option("inferSchema","true")

2熱

1答えて

Spark DataFrameに対してクエリ/カウントを並列化/配布するにはどうすればよいですか？

私はDataFrameを持っています。これは一連のフィルタ照会を適用する必要があります。たとえば、次のようにDataFrameをロードします。 val df = spark.read.parquet("hdfs://box/some-parquet") 次に、「任意」のフィルタを次のように使用します。私は通常、これらを得る C0 = '真' とC1 = 'false' に C0 = '偽' と

1熱

2答えて

javaを使用してoracleデータベースをapache sparkに接続する際のエラー

以下は、apache spark javaプログラムからoracleローカル・データベースに接続するために使用しているコードですが、エラーが発生しています。 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/Logging at java.lang.ClassLoader.defineClass

2熱

1答えて

Apache SparkでのJaro-Winklerスコア計算

Apache Sparkの文字列間でJaro-Winklerの距離計算を実装する必要がありますDataset。私達はスパークするのが新しく、ウェブで検索した後、私たちはあまり見つけることができません。もしあなたが私たちを導くことができれば素晴らしいことでしょう。私たちはflatMapを使用すると考えていましたが、それは助けにならないことに気付きました。その後、foreachループのカップルを使用し

0熱

1答えて

データセットフラットマップgroupByパラメータタイプがありません

数字のリストを含む列のデータセットがあります。これらのリストのすべての単一番号の出現を数えたいと思います。だから私はすべての整数のセットを得るためにflatMapを行います。私はそれをグループ化して、それぞれの番号を1回だけ持っていき、その後、（2番目の列などで）発生数を追加します。これまでの私のコード： val counts = dataset.flatMap(_.intLists).gro

1熱

2答えて

dataframeのnull値をuuidにどのように埋め込むのですか？

1つの列にヌル値を持つデータフレームがあります（すべてがヌルでないわけではありません）。ヌル値をuuidで埋める必要がありますか？ cala> val df = Seq(("stuff2",null,null), ("stuff2",null,Array("value1","value2")),("stuff3","stuff3",null)).toDF("field","field2","val

1熱

1答えて

スパーク保存DataSetはすでにエラー

存在し、私は次のように構築されたデータセットがあります。 Encoder<MyDomain> encoder= Encoders.bean(MyDomain.class); Dataset<MyDomain> stdDS = sc.createDataset(filteredRecords.rdd(), encoder); Dataset<Row> rowDataset = stdDS.wit

3熱

2答えて

スパークデータセットフィルタのパフォーマンス

私は、型付きデータセットをフィルタリングするさまざまな方法を試しています。それはパフォーマンスがかなり異なっていることが判明しました。データセットは、33列と4226047行の1.6 GBデータ行に基づいて作成されました。 DataSetは、csvデータをロードして作成され、ケースクラスにマッピングされます。 val df = spark.read.csv(csvFile).as[FireInc

4熱

1答えて

タイプがOption [Seq [String]]（scala）の場合、Spark 2.0暗黙のエンコーダが欠落している列を処理する

Option [Seq [String]]型の一部の列が欠落している場合、私たちのデータソース。理想的には、不足している列のデータをNoneで埋めたいと思います。シナリオ：私たちは、その持っているcolumn1のなくCOLUMN2に読んでいるいくつかの寄木細工のファイルを持っています。これらの寄木細工のファイルからデータをDatasetにロードし、MyTypeとしてキャストします。 case