structured-streaming

7熱

1答えて

kafka connect 0.10とSpark Structured Streamingでfrom_jsonを使用するには？

私は[Databricks] [1]からサンプルを再現し、kafkaの新しいコネクタに適用し、構造化されたストリーミングを実行しようとしていましたが、sparkのout-of-the-boxメソッドを使ってjsonを正しく解析できません。注：トピックはjson形式でkafkaに書き込まれます。 val ds1 = spark .readStream .format("

0熱

1答えて

pysparkのストラクチャードストリーミング

他のサーバーからhbaseにデータをストリーミングし、Pythonで異なる列ファミリを定義できるかどうか。私は、スパークのドキュメントに周りを見回しただけで見てきた： writestream.format('jdbc').start('jdbc:///') 私は別の列の家族にデータをマッピングする機能でのHBaseに直接書き込むために同じ実装を持つことができますどのように？

1熱

2答えて

Structured Streamingを使用してparquetファイルをHDFSからMS SQL Serverにコピーする方法？

Spark Streamingを使用して、HDFSの寄木細工ファイルをMS SQL Serverにコピーしようとしています。 MS SQL Server用のJDBCドライバを使用しています。私のコードは次のとおりです。 val spark = SparkSession.builder().master("yarn").appName("StreamAFile").getOrCreate();

2熱

2答えて

Spark Structured Streamingでの複数の集計

Spark Structured Streamingで複数の集計を行いたいとします。このような何か：を（フォルダから）入力ファイルのストリームを読む（一部の変換で）集合1を実行集約2（および複数の変換）を実行これを構造化ストリーミングで実行すると、「複数のストリーミング集約がストリーミングデータフレーム/データセットでサポートされていません」というエラーが表示されます。ストラクチャード

1熱

1答えて

ストラクチャードストリーミング2.1.0カフカドライバは - パッケージでYARNで動作しますが、スタンドアロンクラスタモードでは問題があります

現在、構造化ストリーミングカフカドライバをテストしています。 --packages 'org.apache.spark：spark-sql-kafka-0-10_2.11：2.1.0'を使用してYARN（2.7.3）に問題なく提出します。しかし、launchコマンドが-Dspark.jars（以下を参照）にkafka jarを追加したにもかかわらず、deployモード= clusterでスパーク・

0熱

1答えて

ApacheBahirのスキーマに関する問題ApacheSparkストリーミングのStuctured Streamingコネクタ

ApacheSpark Structured StreamをMQTTトピック（この場合はIBM BluemixのIBM Watson IoTプラットフォーム）に接続しようとしています。次のように私は構造化されたストリームを作成しています：、これまでのところは良い val df = spark.readStream .format("org.apache.bahir.sql.stream

0熱

1答えて

Spark Structured Streamingを使用してJsonでエンコードされたメッセージを印刷するには

各行がJsonストリングであるDataSetを持っていますJsonストリームをプリントするか、バッチごとにJsonストリームをカウントします。ここに私のコードは、これまで val ds = sparkSession.readStream() .format("kafka") .option("kafka.bootstrap.servers",bootstrapSe

0熱

1答えて

構造化されたストリーミング2.1.0 foreachの

呼び出されていない私は、糸のクラスタ上カフカと構造化されたストリーミングのforeachのをテストし、コードのこの小さな作品を持ってしようとしています： val ds1 = spark .readStream .format("kafka") .option("kafka.bootstrap.servers", "data01:9092,data02:9092,dat

1熱

1答えて

Spark Structured Streamは、Kafkaの1つのパーティションからのメッセージを取得します

sparkがストリームを作成し、kafka 2-patitionトピックの1つのパーティションのみからメッセージを取得できる状況が発生しました。マイトピック： C:\bigdata\kafka_2.11-0.10.1.1\bin\windows>kafka-topics --create --zookeeper localhost:2181 --partitions 2 --replicatio

6熱

1答えて

構造化ストリーミングを使用してKafkaからJSON形式のレコードを読み取る方法は？

私はstructured streaming approachを使用して、DataFrame/Dataset APIに基づくSpark-Streamingを使用して、Kafkaからのデータストリームを読み込もうとしています。 Iが使用：カフカDataSourceが、基礎となるスキーマを定義しているスパーク2.10 カフカ0.10 火花SQL-カフカ-0-10 スパーク： |key|value|