flink-streaming

1熱

1答えて

現在のデータパイプラインを再設計し、ストリーミングをデータ移動の代替手段と考えるかどうか検討しています。 RDBMSイベントには、既存データおよび履歴データに対するINSERT、UPDATEおよびDELETEが含まれます。これらすべてのイベントには、それらを一意的に識別するためのキーがあります。これらのイベントを処理している間に、正確さと完全性は重要です。また、潜在性はある程度犠牲にすることができ

0熱

1答えて

タスク/ジョブマネージャをクラスタに追加する

新しいタスク/ジョブマネージャを既存の実行中のクラスタに追加することについては、手順はここ（https://ci.apache.org/projects/flink/flink-docs-release-1.2/setup/cluster_setup.html#adding-jobmanagertaskmanager-instances-to-a-cluster）にあります。しかし、クラスタを停

0熱

2答えて

FlinkクラスタでIgnite User Defined関数のClassNotFoundエラーが発生しました

Apache flinkでストリーム配信されたデータをApache Igniteキャッシュにキャッシュしようとしています。私はまた、ユーザー定義関数を使用するクエリを実行したい。 Igniteによると、私はキャッシュを宣言中にcacheConf.setSqlFunctionClasses(GetCacheKey.class)設定を使用しています。私は、Apache FLINKでローカルでコードを実

0熱

3答えて

flink taskmanagersのタスクマネージャIDを取得する方法はありますか

タスクマネージャの整数/ハッシュIDを取得し、それを使用してレポートメトリックを取得したいとします。

0熱

1答えて

Apache Flinkストリームを他の方法でフィルタリングするにはどうすればよいですか？

私は2つのストリームが1つのIntと他のjsonです.Jsonのスキーマには、いくつかのintである1つのキーがあります。私は他の整数ストリームとのキー比較を介してjsonストリームをフィルタリングする必要がありますフリンク？

2熱

1答えて

ウィンドウと状態のFlink集約

私は、という状態のウィンドウに集約/折りたたみ機能を実装する方法を探しています。私はウィンドウに集約する方法、およびキー/グローバル状態を使用する方法を理解していますが、両方を使用することはできません。私は状態でウィンドウを言うときだけ、明確にする - 私は（無効）状態が初期化されなければならないという意味では、ウィンドウが変更されるたびに/を動かしました。例：イベントタイプごとに5分ごとに

2熱

2答えて

S3AFileSystemを使用したFlinkはS3からサブフォルダを読み込みません

私たちは推奨されるS3AFileSystem構成でFlink 1.2.0を使用しています。単純なストリーミングジョブは、そのソースがS3バケット内の単一のフォルダである場合に、期待通りに機能します。ジョブはエラーなしで実行されますが、ではありません。は、そのソースがサブフォルダを含むフォルダである場合、出力を生成します。わかりやすくするために、以下はS3バケットのモデルです。 s3a://bu