flink-streaming

1熱

1答えて

最後の1時間、1週間、1ヶ月のデータで各イベントを処理する必要があります。そのイベントに対応する最後の1ヶ月間に同じIPが何回発生したかなど。私はウィンドウが一定時間のためだと思う私は現在のイベントに対応する最後の1時間で計算することはできません。私はテーブル、ProcessFunctionまたはグローバルウィンドウを使用する必要がありますガイドをお願いします。または私はどのようなアプローチを

2熱

1答えて

Apache Flinkでのスループットと待ち時間

Apache Flink用の非常に簡単なJavaプログラムを作成しました。スループット（1秒あたり処理されるタプル数）や待ち時間（プログラムが毎回処理する必要がある時間など）入力タプル）。 https://ci.apache.org/projects/flink/flink-docs-release-1.2/monitoring/metrics.html しかし、私は、私が欲しいものを得るためにそ

1熱

1答えて

Flinkジョブを再起動して追加したTaskManagerを使用する方法

Flink 1.3.0の弾力性機能をテストしています。私は、チェックポイントを有効にし、固定遅延の再起動ポリシーを持つ仕事があります。 TaskManager JVMの1つを終了すると、しばらくすると、残りのノードでジョブが正しく再開されます。ただし、新しいノードを追加すると、そのノードを使用するためにジョブは自動的に再起動されません。私はbin/flink stop <jobId>を使用しよう

0熱

1答えて

Flinkストリーミングで、AzureDataLakeでファイルの内容を連続して読み取る方法はありますか？

私はAzureDataLakeストア内のファイルからデータを読み出すためにflinkストリーミングを使用しています。Azure Data Lakeに保存されているファイルからデータを読み込むためのコネクタがあります。

0熱

1答えて

flinkのreadFileメソッドでFileInputFormatを記述する方法は？

私は定期的にデータを追加するファイルから連続してデータを読むためにflinkを使用しています。私はflink.Butでこのメソッドの引数にFileInputFormatを記述する方法と混同してreadFileメソッドを使用しようとしました。私のファイル形式はjsonです。誰でも私にこれを手伝ってもらえますか？お気軽に

0熱

1答えて

データがファイルに書き込まれるのと同じ順序でファイルデータからデータストリームを作成する方法はありますか？

私はファイルからデータを読み込んでストリームに変換してストリームを処理するためにflinkを使用していますが、ファイルからデータを読み込んでストリームに変換すると、こうして形成されたデータストリームのコンテンツはファイル内のデータの順序と同じ順序。私の要求によると、ファイルとストリームのデータの順序は重要です。誰でもこのことで私を助けることができますか？おかげ

0熱

1答えて

Flink：イベントにウィンドウ付き集計を追加する

私は非常に Flinkに新規です。私はドキュメンテーションを読み、いくつかのサンプルコードで試しましたが、私の要求を開始するのに苦労しています。 Flinkを使用して、トランザクション監視アプリケーションの一部としてウィンドウ付き集約を維持したいとします。これらはスライディングウィンドウの定義を使用します。たとえば、「過去5日間の現金取引の総額」となります。 1.ヒストリカル集計とビルディングウィ

1熱

1答えて

実行時にflinkジョブを設定する方法は？

実行時にFlinkアプリケーションを設定することはできますか？たとえば、入力を読み取り、変換を行った後、特定のしきい値以下のすべての要素をフィルタリングするストリーミングアプリケーションがあります。しかし、私は実行時にこのしきい値を設定できるようにしておきます。つまり、私のフリンクジョブを再起動することなくこれを変更することができます。例コード： DataStream<MyModel> myMod

0熱

1答えて

ApacheのFLINK：ウィンドウ表示ReduceFunctionは以下

を実行されることはありませんが、私は生憎タンブリングイベント時刻ベースのウィンドウ DataStream<OHLC> ohlcStream = stockStream.assignTimestampsAndWatermarks(new TimestampExtractor()).map(new mapStockToOhlc()).keyBy((KeySelector<OHLC, Long>) o