structured-streaming

1熱

1答えて

ストラクチャードストリーミングジョブがすべてのワーカを使用していません

Apache Kafkaデータストリームをソースとして接続するSpark 2.0.2構造化ストリーミングジョブがあります。仕事はkafkaからのツイッターデータ（JSON）を取り込み、CoreNLPを使ってセンチメント、品詞タグなどのデータに注釈を付けます。これはローカル[*]マスターでうまくいきます。しかし、スタンドアローンのSparkクラスタをセットアップすると、データを処理する作業者は1人だ

apache-spark apache-spark-2.0 structured-streaming 2016-12-05

---