Flink StreamingデータフローにSpark ML CrossValidatorModelを適用することは可能ですか？

Flinkはストリーミングには当然の選択ですが、Sparkは成熟しましたML pipelines、モデルをスパークさせてCrossValidatorModelという名前で保存し、Flinkにストリーミングデータに展開できますか？ scalaのすべて？Flink StreamingデータフローにSpark ML CrossValidatorModelを適用することは可能ですか？

出典

2017-03-15 Karol Sudol

Flinkは現在（2017年3月、Flink 1.2）ストリームの機械学習モデルの配信をサポートしていません。しかし、これはコミュニティが現在議論している機能です。

FlinkにJIRAを登録して機能をリクエストしてください。

Flinkが正式にサポートするまでは、他の方法でFlinkにモデルを読み込むことができます。（免責事項：私はSpark MLの専門家ではありません）。 JavaDocsから、CrossValidatorModelには、メソッドでMLWriterを返すメソッドwrite()があるようです。

モデルをSparkで作成し、MLWriterを使用してモデルを保存してから、FlinkでMLReaderを使用して再度読み込み、ストリームで使用することができます。

出典

2017-03-15 18:05:36

FlinkはSparkモデルの読み込みをサポートしていますか？そうでなければ、Sparkリーダーと 'transform'の両方が、機能的なSparkクラスタを必要とします...プラットフォームに依存しないフォーマットにエクスポートする方が良い選択肢になります。 – zero323

あなたの質問に答えるには：まだ：あなたは独立したフォーマットをお勧めできますか？ –

[（J）PMML]（https://github.com/jpmml/jpmml-spark）は、前回チェックしたときに合理的にうまくいった。 [MLeap]（https://github.com/combust/mleap）は興味深いですが、私はFlinkでそれを使うのが現実的かどうかはわかりません。これはすべて私が既存の試みについて知っている。 [PFA]（http://dmg.org/pfa/）は有望で、[Java初期実装]（https://github.com/opendatagroup/hadrian）があります。 – zero323

Flink StreamingデータフローにSpark ML CrossValidatorModelを適用することは可能ですか？

答えて

関連する問題