2016-06-17 8 views
0

いくつかのflinkコネクタといくつかのサードパーティ製のライブラリを(処理のために)使用するflinkジョブをパッケージ化するとき、依存関係はジョブjarに終わるはずだから、flink-clusterで( "flink run [ jarfile] ")?Apache Flink Job Jarから何を除外するべきですか?

ファットジャーを望ましいアプローチにしていますか?

ジョブをscalaで書く場合は、scalaのデフォルトライブラリをjarファイルに含めますか?

書類が作成された後、仕事をフリンク用にパッケージ化する方法に関するドキュメントは見つかりませんでした。

答えて

1

はい、ファットジャーはFlinkジョブをパッケージ化するための標準的な方法です。 Flinkディストリビューションに含まれるものはすべて含めてはいけません(つまり、JavaおよびScaleのデフォルトライブラリ、Flinkコアなど)。含まれていないいくつかのFlinkライブラリ(ユーザー定義の外部依存関係)のみがfat-jarに含まれていなければなりません。

あなたはFLINKのdocumenationからこのガイドラインに従うことができます:https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/cluster_execution.html#linking-with-modules-not-contained-in-the-binary-distribution

をこれも役に立つかもしれません:https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/common/index.html#program-packaging-and-distributed-execution

関連する問題