データの一部の処理バッチではFlinkと評価されています。簡単な例として、scipyで提供される機能を使用してFIRフィルタを通過させたいと思う2000ポイントがあります。 scipyフィルタは、一連の係数とデータをフィルタリングして返す単純な関数です。 Flinkでこれを処理する変換を作成することは可能ですか? Flinkの変換はポイントベースで適用されているようですが、何か不足している可能性があります。Flinkバッチデータ処理
0
A
答えて
0
これは確かに可能です。 Flinkには既にPython API (beta)があります。
あなたの2番目の質問について:Flinkはポイントごとに機能を適用することができ、他のものも実行できます。それはあなたが定義している機能の何キンクに依存します。たとえば、filter
,project
,map
,flatMap
がレコードごとに適用されます。 max
,min
,reduce
などがレコードグループに適用されます(グループはgroupBy
で定義されています)。 join
,cross
、またはcogroup
を使用して、異なるデータセットからのデータを結合することも可能です。ドキュメントで利用可能な変換のリストをご覧ください。https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/batch/dataset_transformations.html
関連する問題
- 1. スパークストリーミングでは、前のバッチデータの処理が完了してから、次のバッチデータを処理できますか?
- 2. Flink複雑なイベント処理
- 3. Flink:キーによるステートフルストリーム処理
- 4. ステートフル複雑なイベント処理とapache flink
- 5. Apache Flinkを使用したXML処理
- 6. Pyglet更新バッチデータ
- 7. Apache Flink。ウォーターマークを使用したウィンドウ処理
- 8. Flink:ストリームの最後にウィンドウが処理されない
- 9. Apache Flinkプロセスストリームを複数回処理する
- 10. Apache Flink:バックプレッシャーはどのように処理されますか?
- 11. Keras:train_on_batchを使用してバッチデータを処理している間のテスト、クロス検証、および精度
- 12. マイクロサービス(REST API)としてSPARK/Flinkストリームデータ処理を作成する方法
- 13. FLINKストリーミングプログラムは、処理時間と正しく動作しますが、
- 14. Apache Flinkで2つのデータソースを連続的に処理します。
- 15. バーク処理のためのApache Beam over Spark/Flinkのメリットは何ですか?
- 16. Flink DataStreamの各メッセージをどのように反復処理しますか?
- 17. 大量のデータを処理するときにflinkログが失われる
- 18. バッチデータをPHPで検証する
- 19. キュー:リッスンタイムアウト処理キュー処理
- 20. 処理(反復処理)
- 21. Java 8 Stream:フィルタ処理、結果処理、除外処理
- 22. エラー処理と対象処理の例外処理の比較
- 23. CXFリクエストの前処理と後処理の処理
- 24. どのオープンソースのCEP shoudを分散処理とパイプライン処理に使用するか選択します。 siddhi、Flink、Esper?
- 25. カフカ:同期処理の並列処理
- 26. 'influxdb.resultset.ResultSet'の流入db処理の処理
- 27. 複雑なイベント処理 - ストリーム処理
- 28. ストリーム処理とメッセージ処理の違い
- 29. Windowsアプリケーションの処理終了処理
- 30. C#でのキー処理の処理