flink-streaming

0熱

1答えて

、キー付きストリームがある： val keyedStream: KeyedStream[event, Key] = env .addSource(...) .keyBy(...) // several transformations on the same stream keyedStream.map(....) keyedStream.window(....) ke

1熱

1答えて

Apache Flink：ローカル事前集計でウィンドウを計算するにはどうすればよいですか？

私はDataStreamを持っており、その上でウィンドウ集計を計算する必要があります。通常のウィンドウ集約を実行すると、ネットワークIOは非常に高くなります。ネットワークのIOを減らすためにローカル事前集約を実行したいと思います。タスクマネージャにローカルに事前集計（つまり、レコードをシャッフルする前）してからフル集約を実行できるかどうかは疑問です。これはFlinkのDataStream AP

2熱

1答えて

Apache Flink：ジョブを再起動せずに、更新されたjarを再ロードするにはどうすればよいですか？

My Flinkジョブには、クライアントから提供されたjarファイルがあります。これは/ libフォルダに保存できます。クラスタを再起動せずに、更新されたjarファイルをリロードする方法はありますか？

1熱

1答えて

Flink参照データのアドバイス/ベストプラクティス

Flink参照データの格納先/アクセス先のアドバイスを探しています。ここのユースケースは本当にシンプルです - 私は国のリストを持つ単一の列のテキストファイルを持っています。私はツイッターデータをストリーミングしていて、ツイートの（解析済み）ロケーションフィールドに基づいてテキストファイルから国を照合しています。私のFlink Mapper（つまりFlinks MapFunctionを実装していま

0熱

1答えて

flink apply関数on timeWindow

現在、私はFlinkプロジェクトを行っています。このプロジェクトの主なアイデアは、JSON（ネットワークログ）のデータストリームを読み込んで相互に関連させ、異なるJSONの情報を組み合わせた新しいJSONを生成することです。この時点で、JSONを読み込み、KeyedStreamを生成し（ログを生成するマシンに基づいて）、5秒間のウィンドウストリームを生成することができました。次に実行する手順は

0熱

1答えて

Flickでのリセットのリセット

FlinkストリームジョブでRichFlatmapFunctionを拡張するクラスがあります。 open()メソッドでJedisインスタンスを作成し、(jedis.close())メソッドをclose()に閉じて、変換を通過するすべてのレコードが同じJedisインスタンスを使用するようにします。この方法では以前に接続エラーが発生していませんでした。 "： java.net.SocketExcept

1熱

1答えて

Flinkストリーミングイベント時間ウィンドウ

私はEventTimeに基づいてウィンドウをテストする簡単な例を実行しています。私は処理時間で出力を生成することができますが、私がEventTimeを使用しているときに出力はありません。私が間違っていることを理解するのを助けてください。 5秒ごとにスライドするサイズ10秒のSlidingWindowを作成しています。ウィンドウの最後に、その時間に受信したメッセージ数が表示されます。 input :

2熱

1答えて

1.4 ApacheのFLINK上foldLeft事業者と同等のは、ウィンドウが、その後</p>が <p>集約演算の出力は集合体であるkeyBy私は、その後でDataStream と、この使用してApache FLINK 1.4 開始のようなストリームを設定しているでDataStream

ありますAggregateResultオブジェクト今終了するストリームはSingleOutputStreamOperator型です私が次に望むのは、scala foldLeftと同じです。その機能を提供する演算子がありますか？おかげ

2熱

2答えて

Flink 1.3.2から1.4.0へのアップグレードhadoop FileSystemとPathの問題

最近Flink 1.3.2から1.4.0へのアップグレードを試みましたが、もうorg.apache.hadoop.fs.{FileSystem, Path}をインポートできない問題があります。問題は、2つの場所で発生している： ParquetWriter： import org.apache.avro.Schema import org.apache.avro.generic.GenericRe