apache-flink

2熱

1答えて

私は、キー入力され、異なる期間（1分、5分、1日、1週間）の転倒のためのカウントを計算する必要があるデータストリームを持っています。 1つのアプリケーションで4つのウィンドウ数をすべて計算することはできますか？

-3熱

1答えて

Flinkウィンドウ、イベント時間、Lateness、maxOutOfOrderness

これは非常に複雑な概念です。1.ウィンドウ（TumblingEventTimeWindows.of（Time.seconds（n）））、このExpressは2つの概念、ウィンドウを持っています：EventWindow、イベント時刻がウォーターマークでマークされ、ウィンドウがウォーターマークによって作成されます。時間はイベント時間、n秒はイベント時間です。ウィンドウのサイズはイベントの時間サイズです

1熱

1答えて

リソースファイル内のエントリを更新しないMaven shade-pluginの再配置

hereの推奨に従って、ライブラリの競合を解決するために、私は陰影aws-java-sdkを試しています。しかし、maven-shade-pluginが表示され、リソースファイル（テキスト）のエントリが更新されていないことがわかります。例えば、request.handler2sとrequest.handlersの内容は、再配置パターンに従って変更されません。 maven-shade-pluginは

4熱

1答えて

Apache Flink：カフカのデータをバイト配列として読み取る

byte[]形式のカフカからデータを読み取るにはどうすればよいですか？ SimpleStringSchema()でイベントを読み取る実装がありますが、データを読み取るスキーマがbyte[]で見つかりませんでした。ここでは私のコードです： Properties properties = new Properties(); properties.setProperty("bootstrap

0熱

1答えて

Apache Flink：サブクラスタプルのデータストリームでwriteAsCsv（）を使用できません

ここでお勧めします：Best Practices - Naming large TupleX types。私はデータストリームのためにタプルの代わりにPOJOを使用しています。これは私のPOJOが定義する方法である： public class PositionEvent extends Tuple8<Integer, String, Integer, Integer, Integer,

0熱

0答えて

windowedFunctionを適用した後にウィンドウに内容が表示されない

私はFlinkを初めて使用していますが、カフカコネクタを使用してウィンドウを使用したときに問題が発生しました。コードは次のようである： val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment ..... // a KeyedStream with name as th

1熱

1答えて

Apache Flink DataStreamのフィード方法

私はApache Flinkを初めて使用しています。私は、DataStreamを作成し、別のシステムからの値でフィードしたいと思います。 "SourceFunctions"を追加する方法を知りました。その関数では、ソースから値を待ってから、これらの値をFlinkに発行してctx.collectを呼び出してから、再度ポーリングします。しかし、値が到着（async）したときに関数を呼び出すデータソー

1熱

1答えて

データはIDEの側出力に書き込まれますが、クラスタには書き込まれません

Flinkのサイド出力機能を使用して、別のカフカシンクにデータを書き込むジョブがあります。サイド出力は、IDEで実行されたときに書き込まれたデータを取得しますが、Flinkクラスタの場合は書き込まれません。どんな考え？ここではコードのサンプルです： final OutputTag<SideOutputObject> sideOutputTag = new OutputTag<SideOutput

0熱

1答えて

Apache Flink：InvalidProgramException：テーブルプログラムをコンパイルできません

私は単一のStringフィールドを抽出するAvroオブジェクトのDataStreamを持つ簡単なプログラムを持っています。私はDataStreamをTableに変換し、簡単な投影法でクエリを実行します。 val kinesisConsumer = new FlinkKinesisConsumer(streamName, new UnifiedEventDeserializationSchema,