spark-streaming

2熱

1答えて

小さなプログラムを実行して、ウィンドウからディレクトリからストリーミングログを読み込もうとしました。ログはlogs_2016-04-05のlogsフォルダにあります。サンプルログは以下のとおりです。私は、ストリーミングされているものであればログに結果を表示するだけのアプリケーションにしたいと思っています。それは走っていますか？ SparkConf conf = new SparkConf().s

3熱

2答えて

スパーク

私はUDPソケット、データ構造からのデータの流れ（nginxのオンライン・ログ）を取るには、次のとおりです。に私が持っている date | ip | mac | objectName | rate | size 2016-04-05 11:17:34 | 10.0.0.1 | e1:e2 | book1 | 10 | 121 2016-04-05 11:17:34 | 10.0.0.

0熱

1答えて

は、私は、ファイルのストリームがあり、各ファイルは、キーで構成される行が含まれてい

ストリーミングスパークを使用してラインにキーと値の分離：ので、私は」 key1:value1 key2:value2 key3:value3 ：値は、たとえば、ファイルは次のようになります私はSpark Streamingを使ってファイルの到着をHDFSに検出し、これらの行の各値をHBaseに入れます（HBaseの列はキーで構成されています）行のタイプが " DStream.flatm

1熱

1答えて

spark sqlでjavaを使用して複雑なjsonを読み取る

私のjsonファイルは以下のようなものです。以下のコードを使用してmajorsector_percentの下のすべてのNameを読み込もうとしています。コード： JavaSQLContext sQLContext = new JavaSQLContext(sc); sQLContext.jsonFile("C:/Users/HimanshuK/Downloads/world_bank/

1熱

1答えて

Spark/RabbitMQでイベントを延期する方法

私たちは、RabbitMQ（おそらく後のkafka）とスパークストリーミングを使用してイベントをストリーミングするシステムを設計しています。いくつかのイベントはいくつかのイベントタイプに分割されていますので、あまりにも大きなイベントは発生しません。これは、特定のイベントが（同じIDを持つ）他のイベントを待たなければならないことを意味します。特定のイベントのすべてのイベントが到着するまで処理を続行で

2熱

1答えて

は火花防止を書く時には、私はapacheの火花と一緒にApache Hadoopのディストリビューションはセットアップ私は読書のためのストリーミングやテーブルへの書き込みスパークを通じてDynamoDBのにアクセスしようとしていますしかしであるAWSインスタンスのセットを持っているEMR

せずにアクセスDynamoDBのスパークことができますDynamoDBコード、私はemr-ddb-hadoop.jarがDynamoDB入力フォーマットとEMRクラスタにのみ存在するOutputFormatを得るために必要であることを知りました。いくつかのブログをチェックした後、EMR Sparkでしかアクセスできないようです。正しいですか？は、しかし、私は、スタンドアロンのJava SDK

3熱

2答えて

2つのストリーム間のSparkストリーミング共有状態

2つのDStream間でスパークストリーミング状態を共有できますか？基本的には、最初のストリームを使用して状態を作成/更新し、状態を使用して2番目のストリームを強化したいとします。例：StatefulNetworkWordCountの例を変更しました。私は最初のストリームを使って状態を作り、最初のストリームのカウントで2番目のストリームを豊かにしています。 val initialRDD = s

4熱

2答えて

KafkaトピックパーティションとSparkエグゼキュータマッピング

私はkafkaトピックでスパークストリーミングを使用しています。トピックは5つのパーティションで作成されます。私のすべてのメッセージはtablenameをキーとしてカフカのトピックに公開されています。これを仮定すると、そのテーブルのすべてのメッセージは同じパーティションに移動する必要があります。しかし、私は火花のログに同じテーブルのメッセージは、エグゼキュータのノード1に行くと時々execut

2熱

1答えて

直接ストリームを使用したKafka Sparkストリーミングでコンシューマグループを指定する方法

ダイレクトストリームAPIを使用したカフカのスパークストリーミングのコンシューマグループIDの指定方法。 HashMap<String, String> kafkaParams = new HashMap<String, String>(); kafkaParams.put("metadata.broker.list", brokers); kafkaParams.put("auto.offs

0熱

2答えて

JavaDstreamオブジェクトを文字列にマップする方法は？スパークストリーミングとモデル予測JAVA

私はスパークの世界で非常に新しく、6ヶ月前にjavaをプログラミングし始めました。だから難しいです： JavaDStream<String> words = lines.flatMap( new FlatMapFunction<String, String>() { public Iterable<String> call(String x) { re