apache-flink

0熱

1答えて

、キー付きストリームがある： val keyedStream: KeyedStream[event, Key] = env .addSource(...) .keyBy(...) // several transformations on the same stream keyedStream.map(....) keyedStream.window(....) ke

0熱

1答えて

Apache Flink writeAsCsv（）メソッドを使ってオブジェクトのタプルを書く

私はApache Flinkチュートリアルに従ってTaxiRideイベントのストリームを整理しています。結果のストリームはコンソールに出力されます。そして今、私はcsvファイルに書きたいと思います。私はそれはコンパイルエラーにつながるDataSet<Tuple1<TaxiRide>> rides1 = filteredRides.writeAsCsv("/resources").setParall

1熱

1答えて

FlinkとSparkStreamingのチェックポイントメカニズムの相違点

Kafkaトピックのデータを消費すると、FlinkとSparkStreamingの両方でauto.commit.enabledがfalseに設定されているチェックポイントメカニズムが提供されます。スパーク・ドキュメント say：スパーク出力操作は少なくとも1回です。したがって、正確に一度のセマンティクスに相当するものが必要な場合は、偶数の出力の後にオフセットを格納するか、アトミックなトランザク

1熱

2答えて

NoClassDefFoundError FlipとKafkaを統合しようとしています

私はkafkaとflinkをinteregateしようとしています。アイデアは、カフカ・キューを消費し、フリンクを使用してデータを変換することです。私は https://github.com/abhishek-ch/evolveML/blob/master/flink/kafka-flink-example/pom.xml これらは私の依存関係している下記の例に次のようです。 <dependen

1熱

1答えて

Apache Flink：ローカル事前集計でウィンドウを計算するにはどうすればよいですか？

私はDataStreamを持っており、その上でウィンドウ集計を計算する必要があります。通常のウィンドウ集約を実行すると、ネットワークIOは非常に高くなります。ネットワークのIOを減らすためにローカル事前集約を実行したいと思います。タスクマネージャにローカルに事前集計（つまり、レコードをシャッフルする前）してからフル集約を実行できるかどうかは疑問です。これはFlinkのDataStream AP

2熱

1答えて

Apache Flink：ジョブを再起動せずに、更新されたjarを再ロードするにはどうすればよいですか？

My Flinkジョブには、クライアントから提供されたjarファイルがあります。これは/ libフォルダに保存できます。クラスタを再起動せずに、更新されたjarファイルをリロードする方法はありますか？

1熱

1答えて

Flink参照データのアドバイス/ベストプラクティス

Flink参照データの格納先/アクセス先のアドバイスを探しています。ここのユースケースは本当にシンプルです - 私は国のリストを持つ単一の列のテキストファイルを持っています。私はツイッターデータをストリーミングしていて、ツイートの（解析済み）ロケーションフィールドに基づいてテキストファイルから国を照合しています。私のFlink Mapper（つまりFlinks MapFunctionを実装していま

0熱

1答えて

flink apply関数on timeWindow

現在、私はFlinkプロジェクトを行っています。このプロジェクトの主なアイデアは、JSON（ネットワークログ）のデータストリームを読み込んで相互に関連させ、異なるJSONの情報を組み合わせた新しいJSONを生成することです。この時点で、JSONを読み込み、KeyedStreamを生成し（ログを生成するマシンに基づいて）、5秒間のウィンドウストリームを生成することができました。次に実行する手順は

0熱

1答えて

FLINKジョブをキャンセルしているときにES接続を閉じるにはどうしたらいいですか？

flink APIでリソース管理（init、closeなど）を行うメソッドを取得したいと考えています。例えば、私がフリンクするようにジョブをサブミットすると、いくつかのJDBC接続が確立されました。ジョブをキャンセルすると、ジョブのキャンセル前にこれらの接続が閉じられました。