apache-spark-dataset

1熱

1答えて

dataset.groupByKey（）内のSpark CompileException

私はSparkを使用して郵便番号プレフィックスを抽出しようとしていますが、Sparkで生成されたコードはjava.lang.Doubleをorg.apache.sparkで初期化しようとしているためコンパイルできません。 unsafe.types.UTF8Stringを引数として指定します。これがSparkの問題であるかどうか、私がどのように使用しているかは、私にはっきりと分かりません。私はJav

1熱

1答えて

スパークデータセットカスタムパーティショナー

パーティション分割のためのJava APIを見つける手助けをしてくださいsalesデータセットNのサイズが同じですか？等しいサイズでは、同じ数の行を意味します。 Dataset<Row> sales = sparkSession.read().parquet(salesPath); sales.toJavaRDD().partitions().size(); // returns 1

0熱

2答えて

Spark Dataframe/Dataset：一般条件付き累積合計

私は、いくつかの属性（C1〜C2）、オフセット（日数）、およびいくつかの値（V1、V2）を持つデータフレームを持っています。私がする必要がどのような val inputDF= spark.sparkContext.parallelize(Seq((1,2,30, 100, -1),(1,2,30, 100, 0), (1,2,30, 100, 1),(11,21,30, 100, -1),(11,

4熱

2答えて

Spark Rowのデータセットを文字列に変換するには？

SparkSQLを使用してHiveテーブルにアクセスするためのコードを記述しました。コードは次のとおりです。 SparkSession spark = SparkSession .builder() .appName("Java Spark Hive Example") .master("local[*]") .config("hive.metast

0熱

1答えて

Spark Structured Streamingでバイナリデータを処理する

私はKafkaとSpark Structured Streamingを使用しています。私は以下の形式でカフカのメッセージを受け取ります。 {"deviceId":"001","sNo":1,"data":"aaaaa"} {"deviceId":"002","sNo":1,"data":"bbbbb"} {"deviceId":"001","sNo":2,"data":"ccccc"} {"

5熱

1答えて

データセット<Tuple2 <String、DeviceData >>をイテレータに変換する方法<DeviceData>

私はDataset<Tuple2<String,DeviceData>>を持っており、Iterator<DeviceData>に変換したいと考えています。以下はcollectAsList()メソッドを使用していてIterator<DeviceData>を取得している私のコードです。 Dataset<Tuple2<String,DeviceData>> ds = ...; List<Tuple2

0熱

1答えて

ブール型およびネスト型のBeanのスパークにおけるヌルポインタ例外

Beanクラスのスパークデータセットを作成しようとしていますが、それ自体がBeanおよびブール値フィールドのフィールドを持っていますが、。 2番目のフィールドにブール値の代わりに2倍を使用すると、NULLポインターの例外はなくなります。 SparkSession spark = SparkSession.builder().appName("Test").getOrCreate(); Enco

0熱

1答えて

ScalaでのJavaタイムスタンプの問題 - java.lang.IllegalArgumentExceptionエラーが発生しました

おはよう。 Spark 2.1.0（Scala 2.11.8が組み込まれています）でRDD、データフレーム、データセットのパフォーマンスを比較しています。私はhttps://data.london.gov.uk/dataset/smartmeter-energy-use-data-in-london-householdsから自由に入手できるデータをダウンロードし、後でそのスクリプトを実行しました。

0熱

1答えて

Javaを使用してapache sparkの行を削除

そのデータセットの2番目の行を削除する必要があります。私はapache sparkの新機能です。以下のコードはです。 public class DeleteRow { public static void main(String[] args) { System.setProperty("hadoop.home.dir", "C:\\winutils");