Flink Streamingを使用してタイムウィンドウストリーム内のユニークワードの数を数える方法はありますか?私はthis質問を参照してくださいが、私は時間ウィンドウを実装する方法を知らない。Flinkでタイムウィンドウストリーム内のユニークワードを数えるには?
0
A
答えて
0
もちろん、それはかなり簡単です。各タイムウィンドウの間にすべての入力レコードに集約が必要な場合は、windowAll()のフレーバーの1つを使用する必要があります。つまり、キーストリームを使用せず、並行して操作することはできません。
tumbling windowsまたはsliding windowsを入力し、event time or processing timeで操作するかどうかを決定する必要があります。
しかし、大まかに言えば、あなたはこのような何かやる:あなたのUniqueWordCounterは、ウィンドウ内のすべての単語の反復可能なを受け、ユニークな単語の数を返しますWindowFunctionなります
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.addSource(...)
.timeWindowAll(Time.minutes(15))
.apply(new UniqueWordCounter())
.print()
env.execute()
を。一方
、あなたがkeyedstreamを使用し、各キーのユニークワードをカウントしたい、それに応じてアプリケーションを変更している場合:
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.addSource(...)
.keyBy(...)
.timeWindow(Time.minutes(15))
.apply(new UniqueWordCounter())
.print()
env.execute()
関連する問題
- 1. テキストファイル内のユニークワード
- 2. t-sqlはテキスト列内のユニークワード数をカウントします
- 3. ユニークワード
- 4. データフレーム内のすべてのユニークワードを取得する方法は?
- 5. Flink Java APIを使用してDataStream内の別個に数える方法
- 6. Flink 1.xのEventTimeSourceFunction(Flink 0.10.x)の置き換えは何ですか?
- 7. フォルダ内のリソースを数えるには
- 8. ウィンドウメッセージキュー内のメッセージを数えるには?
- 9. ヘッダーファイル内のオブジェクトを数えるには?
- 10. Apache Flink:複数のカウントウィンドウ関数を適用するには?
- 11. ハイブの各単語のユニークワード数を取得
- 12. Flinkのグローバル変数
- 13. FLINKは、ログフォルダ内のファイルを生成するが、私は、並列私のFLINKコードで= 1</p> <p>でFLINKローカルモードを使用しています何
- 14. Rubyで配列内の配列数を数えるには?
- 15. Pythonは文字列のユニークワードの複数の位置を出力しません
- 16. Flink - jobmanager.rpc.addressの複数のジョブマネージャ
- 17. FLINKでスーパーサイズのウィンドウを扱うには?
- 18. ApacheのFLINK:私は私のFLINKアプリケーションを実行するとTupleSerializer
- 19. JSONファイルの配列内のオブジェクトの数を数えるには?
- 20. Flink AppでFlatMapFunction内のデータベースにアクセスできますか?
- 21. ORACLE - コレクション内のメンバーの出現回数を数えるには?
- 22. テンプレート内のmanytomanyの数を数えるには?
- 23. String [] []内の各列の文字数を数えるには?
- 24. リスト内のクラスのインスタンス数を数えるには?
- 25. 文字列内のシーケンスの出現数を数えるには?
- 26. タグ内の子供の発生数を数えるには?
- 27. FLINKは
- 28. javascriptで配列内の配列要素を数えるには?
- 29. flink環境でflinkジョブのスプリングリソースを初期化する方法
- 30. 標準でディレクトリ内のファイル数を数える方法は?
をしかしproblemeがある:私は知っている必要があり、各キーの 固有の値であるため、「keyBy」を使用する必要があります – FlinkNoob
このケースも含めて回答を更新しました –
適用はあまりにも一般的です。適用しないとできない方法はありませんか? – FlinkNoob