spark-streaming

0熱

1答えて

私たちはkafkaからメッセージを引き出し、forEachPartiton変換を使用して個々のメッセージを処理するスパークストリーミングプログラムを用意しています。処理機能に特定のエラーがある場合は、例外を戻してプログラムを停止したいと考えています。同じことは起こっていないようです。以下は実行しようとしているコードです。上記のコードで JavaInputDStream<KafkaDTO> str

0熱

1答えて

Kafka gzipの圧縮メッセージをトピックからスパークストリーミングへ読む方法

Gzip圧縮を使用するにはプロデューサー側で変更する必要があることがわかりますが、メッセージを読む際に圧縮解除する方法がわかりません。しばらくお待ちください。圧縮されていないメッセージに対してMy End to End Streamingが動作します。ありがとうございます

0熱

1答えて

updatestatebykey - Pyspark - スパークストリーミング

私はスパークストリーミングを始めました。 UpdateStateByKey操作の重要性を理解しようとしていますか？それの使用は何ですか？任意国家を保管する必要性は何ですか？使い方？

-1熱

1答えて

代替を再帰的に火花提出ジョブ

を実行するには、以下の私は上のアドバイスを必要とするシナリオ、シナリオです。スパークプログラムは、Hiveのデータに対してETL操作と複雑な結合を実行する必要があります。 Nifiから取り込まれたデータは連続的なストリーミングであるため、取り込んだデータに対して1〜2分ごとにSparkジョブを実行します。どちらをお使いになるのが最適ですか？スケジューラを使用して1分ごとにspark-sub

1熱

1答えて

スパーク：（この形式yyyy-mm-ddの日付の文字列を含む）文字列partitionByと、スパーク構造ストリーム2.1を使用してカフカからストリーミング中寄木細工パーティション名の一意

を、私は1つ interval27e/_spark_metadata interval27e/interval_read_date=2010-10-27 08%3A02%3A48 interval27e/interval_read_date=2010-10-30 04%3A27%3A34 interval27e/interval_read_date=2010-11-03 02%3A22%3A

0熱

1答えて

Spark Streaming Kafka Receivers API-numPartitions

私たちはspark-streaming-kafka-0-8レシーバを使用しています。 numPartitionsを増やしてイベントの消費量を増やすことはできません。 numPartitionsの増加はパフォーマンスに影響しないようです。 KafkaUtils.createStreamメソッドは、topic_nameからnumPartitionsまでのマップを持ちますが、各パーティションはそれぞれの

1熱

1答えて

Java Spark：com.mongodb.spark.config.writeconfig issue

Javaのsparkコネクタ経由でMongoDBに接続しようとしていますが、jarファイルを送信するときにエラー "com.mongodb.spark.config.writeconfig"が表示されます。スパークシェルで瓶を運ぶ。ここでは、エラーのスクリーンショット：この問題を解決するために手伝ってください。私もこれを試しましたが、成功はありません。 $/binに/ sparkR --conf

0熱

1答えて

使用火花ストリーミング時自身の自己によって相殺

私はストリーミングを作成するには、以下の使用すべての行火花ストリーミングカフカデータを読み取るために、プロセスを使用します。 lines = KafkaUtils.createDirectStream( jssc, LocationStrategies.PreferConsistent(), ConsumerStrategies.<String, Stri

0熱

1答えて

SpruckStreamingとTranquilityによってドルイドに書き込むことができません

Spru Streamingジョブの結果をドルイドのデータソースに書き込もうとしています。 SparkはDruidに就職して成功しました。ドルイドはインデックス作成を開始しますが、何も書きません。次のように私のコードとログは、次のとおりです。 import org.apache.spark._ import org.apache.spark._ import org.apache.spark

1熱

1答えて

spark.streaming.blockIntervalはRDDパーティションにどのように関係していますか？

spark.streaming.blockIntervalのブロックとSpark StreamingのRDDパーティションのブロックの違いは何ですか？ 2.2.0ドキュメントストリーミングスパークを引用：ほとんどの受信機については、受信したデータはスパークのメモリ内格納する前にデータのブロックに一緒に合体されます。各バッチ内のブロック数によって、受信したデータをマップ形式の変換で処理するために