flink-streaming

3熱

1答えて

flink kafkaのコンシューマとストリーム（kafka msgsがトピックにストリーミングされている）を持っていて、面白い振る舞いに気づいています。データがストリーミングされているときに、ウィンドウが「完了」する前に停止した場合、またはデータが終了して（数回のウィンドウ後に）ウィンドウの最後に到達しない場合、残りのパイプラインはトリガーしないでください。例の流れ： env.addSour

0熱

1答えて

Flink：ProcessWindowFunction

私は最近Flinkの新しいリリースでProcessWindowFunctionを勉強しています。 ProcessWindowFunctionは、グローバル状態とウィンドウ状態をサポートしています。 Scala APIを使って試してみます。私は今まで世界的な州の働きを得ることができますが、私は窓の状態のためにそれをする運を持っていません。私がやっているのは、システムログを処理し、ホスト名と重大度でキ

0熱

1答えて

SCALAによる支配のApache-カフカとFLINK（未コマンドライン）

。カフカトピックの作成と削除と同じです。コマンドラインインターフェイスコマンドの実行を制御するためのScala - APIがあります。したがって、アプリケーションの条件に基づいて、私は仕事を提出し、コードからkafkaを作成/削除することができます。コマンド私はScalaのコード Starting Flink Server bin/start-local.sh Stopping

1熱

1答えて

Flinkウィンドウと折り畳み機能を使用すると、要素がありませんか？

ウィンドウと折り畳み機能を使用して要素を集計しようとすると、一部のの要素が集計されなくなります。消費カフカ(value:0, value:1, value:2, value:3)からの要素を消費し、それらを奇数および偶数値としてに集約します。出力がある：10-13間 {even=[0, 2, 4], odd=[1, 3]} {even=[6, 8], odd=[5, 7, 9]} {e

1熱

1答えて

Flink keyBy groping issue

私はFlinkにとってかなり新しいです。私はマップ、グループ、およびJSONの入力を合計するこのコードを持っています。単語カウントの例に非常に似ています。私は(vacant,1) (occupied,2) を取得することが期待しかし、私はあなたのコードを実行(occupied,1) (vacant,1) (occupied,2) public static void main(String[]

0熱

1答えて

Kafka-Flink-Stream処理：ストリーミングプロセスで使用されている変数に入力ファイルを再ロードする方法はありますか？

Flinkを使用してカフカトピック（Json形式のログ）からのデータストリームを処理する予定です。しかし、その処理では、毎日変更される入力ファイルを使用する必要があり、その情報は完全に変更できます（形式ではなくコンテンツ）。これらの入力ファイルのいずれかが変更されるたびに、それらのファイルをプログラムにリロードしてストリーム処理を続行する必要があります。それが今行われているように、データの再

1熱

1答えて

Flink SocketTextStreamのソースが1台のマシンにスケジュールされています

私はそれがどのように起こるか把握しようとしています：複数のsocketTextStreamからプログラムを読み込み、これらのテキストストリームを別々のデータフローに送ります。ジョブ）。私はマシンがパフォーマンスに深刻なボトルネックになるように、すべてのソースタスクは一台のマシンにスケジュールされていることが判明したクラスタ上でジョブを実行するとき、しかし for(int i =0; i< host

0熱

1答えて

どのようにapacheのフリンクで毎月のウィンドウを実現するには？

flinkには同じ長さのウィンドウしかありませんか？どのように私は可変サイズのウィンドウをフリンクストリームで毎月の仕事をするために使うことができますか？