flink-streaming

4熱

2答えて

自宅でストリーミングするサーバーからApache Flinkに移行する予定です。私たちが持っていることの1つは、処理トポロジで保持されている状態に対してクエリを実行するためのDRPCインターフェイスのようなApache Stormです。したがって、たとえば：移動平均を実行しているセンサーがたくさんあります。私は、トポロジに関するクエリを実行して、その平均値が固定値を上回るすべてのセンサを返したい

1熱

1答えて

FLINKストリームNoSuchMethodError：org.apache.flink.api.common.ExecutionConfig.setRestartStrategy

java.lang.NoSuchMethodError: org.apache.flink.api.common.ExecutionConfig.setRestartStrategy(Lorg/apache/flink/api/common/restartstrategy/RestartStrategies$RestartStrategyConfiguration;)V at com.W

0熱

1答えて

FlinkでRollingSinkを使用してAvroでシリアル化されたオブジェクトを書き込む[Scala]

FlinkでRollingSinkを使用してAVROからHDFSにシリアル化されたケースクラスを作成しようとしています。 avroファイルをHDFSでデシリアライズ可能にするために、FSDataOutputStreamをラップするDataFileWriterを使用します。 HDFSでデータファイルを閉じるためにDataFileWriterとFSDataOutputStreamの間で同期しようとする

13熱

1答えて

Flinkストリーミング：データに応じて1つのデータストリームを異なる出力に出力する方法は？

Apache Flinkでは、私はタプルのストリームを持っています。本当に単純なものと仮定しましょうTuple1<String>タプルは、値フィールドに任意の値（たとえば、 'P1'、 'P2'など）を持つことができます。可能な値のセットは有限ですが、私は事前にフルセットを知りません（したがって、 'P362'がある可能性があります）。タプルの内部の値に応じて、特定の出力場所にそのタプルを書きたい

1熱

1答えて

Apache Flinkは障害後にトリガータイマーを復元しますか？

一部のカスタムトリガーには、状態とタイマーを使用するものがあります（this example）。私は失敗後の状態will be restoredを理解していますが、タイマーはどうですか？自動的に障害後に復元されますか？

1熱

1答えて

キー値の状態とチェックポイントを一緒に使う方法は？

私はキー値ステートインターフェースが自分のフローで失敗した後に状態を復元できることを理解していますが、フローの再デプロイ後に状態を復元することはできません。私はCheckpointedインタフェースを実装し、保存/ Checkpointedインターフェースのキーと値の状態での使用方法へ/から状態を復元する必要があり、再デプロイ後の状態を復元したい場合は（+前に展開して、新しい実行セーブポイントを

2熱

1答えて

PatternStreamで選択しようとすると「Input Mismatch：Tuple type expected」と表示されます

新しいFlink 1.0.0機能のテストに少し問題があります。私はCEPの周りいじってきたと私はまだ簡単なデモのコードを実行するために管理していない： val pattern : Pattern[TrafficEvent, _] = Pattern.begin[TrafficEvent]("start") val patternStream = CEP.pattern(stream.javaSt

2熱

1答えて

ScalaシェルでStreamExecutionEnvironmentをインスタンス化します

スカラシェルを起動します。これは自動的にorg.apache.flink.api.scala.ExecutionEnvironmentタイプのExecutionEnvironmentを作成しますしかし、私はストリーミング環境を使いたいと思います。 val senv = StreamExecutionEnvironment.getExecutionEnvironment は、Execution

2熱

1答えて

Flink：データセットとDatastream APIを1つのプログラムにまとめました。出来ますか？

まず、データセットAPIを使用して静的データを操作してから、DataStream APIを使用してストリーミングジョブを実行します。私がIDEにコードを書くと、それは完全に動作します。しかし、ローカルのFlinkジョブマネージャ（すべての並列処理1）を実行しようとすると、ストリーミングコードは決して実行されません！たとえば、次のコードは動作していない：私はこのことが作業を取得しようとする必要があ

4熱

1答えて

FlinkのString DataStreamでtimeWindow（）を実行するには？

私はApache Flinkでストリーミングデータの時間枠を作りたいと思っています。私のデータはいくぶん次のようになります。 1> {52,"mokshda",84.85} 2> {1,"kavita",26.16} 2> {131,"nidhi",178.9} 3> {2,"poorvi",22.97} 4> {115,"saheba",110.41} 20秒ごとに、私はマークの合計