spark-streaming

5熱

2答えて

Spark Streamingで無限のScalaストリームをソースとして使用するにはどうすればよいですか？

Stream.from(0)をInputDStreamとしたいとします。私はこれについてどうやって行くのですか？私が見ることができる唯一の方法は、StreamingContext#queueStreamを使用することですが、別のスレッドまたはサブクラスQueueから要素をエンキューして、無限ストリームのように動作するキューを作成する必要があります。これを行う正しい方法は何ですか？

7熱

2答えて

スパークストリーミングを使用してCassandraから読む

スパークストリーミングを使用してCassandraから読み取ると問題が発生します。 https://github.com/datastax/spark-cassandra-connector/blob/master/doc/8_streaming.md#reading-from-cassandra-from-the-streamingcontext 上記のリンクは、私はカサンドラからデータを選択す

24熱

1答えて

スパークストリーミング：なぜ数MBのユーザー状態を処理するために内部処理コストが高いのですか？

私たちの実験によると、ステートフルなSpark Streamingの内部処理コストは、状態が100万を超えるオブジェクトになるとかなりの時間がかかります。その結果、不安定な動作（処理時間>バッチ間隔）を避けるために、バッチ間隔を増やす必要があるため、遅延が発生します。以下のコードで再現できるので、私たちのアプリの詳細とは関係ありません。 Spark内部処理/インフラストラクチャのコストは、ユーザ

24熱

3答えて

スパークストリーミングジョブを停止するにはどうすればよいですか？

私はSpark Streamingジョブを継続して実行しています。仕事を優雅にやめさせるにはどうすればいいですか？私はジョブの監視にシャットダウンフックをつけ、ジョブにSIGTERMを送るという、通常の推奨事項を読んだ。 sys.ShutdownHookThread { logger.info("Gracefully stopping Application...") ssc.

8熱

1答えて

スパークストリーミングは「1ピアの代わりに0ピアだけに複製する」と警告します。

私はスパークストリーミングを使用してツイッターからツイートを受信します。多くの警告が表示されます： replicated to only 0 peer(s) instead of 1 peers この警告は何ですか？私のコードがある：ストリーミングスパークとの間でデータを読み出す場合 SparkConf conf = new SparkConf().setAppName("Test");

5熱

2答えて

スパークストリーミングアプリケーションを再デプロイするためのチェックポイントの設定方法は？

私はSparkストリーミングを使用して一意のユーザーを数えます。私はupdateStateByKeyを使用しているので、チェックポイントディレクトリを設定する必要があります。アプリケーションを起動している間、私はまたthe example in the docとして、チェックポイントからのデータをロード：私のコードが変更された場合ここで // Function to create and setu

5熱

1答えて

多くのエラーErrorMonitor：スパーク起動時にAssociationError

私はスパークを使用しています（kafkaとcassandraを使用）起動時に、エラーが多い（〜100）場合、evrythingは正常に動作します。エラーはこのタイプのものである： [ステージ0：=======>（24 + 26）/ 50] [段階3：>（0 + 24）/ 24] 15/09/17 09:48:35エラーErrorMonitor：AssociationError [akka.tc

7熱

1答えて

永続スパークは、ストリーミング出力

、私は現在、水路を使用してい私は、メッセージングアプリからのデータを収集していますが、それは私はカフカを使用したいは、はスパークストリーミングを使用してカフカから消費日あたり約50万レコードを送信しますと..私は私が試したそれぞれのアプローチで問題を抱えているインパラでのHadoopおよびクエリするアプローチ1それを持続 - 寄木細工のディレクトリに外部のハイブの寄木細工のテーブルを指