flink-streaming

0熱

1答えて

タプル内のさまざまな型を動的に宣言する方法はありますか？私は動的にタプルの列数を宣言するための方法を見つけた： env.readCsvFile(filePath).tupleType(Tuple.getTupleClass(3)) しかし、どのようなタイプのパラメータを指定せずに、それはエラーとしてスロー： Exception in thread "main" org.apache.flink.

0熱

1答えて

Flinkストリーミング：実行時間を制御する方法

スパークストリーミングは、awaitTermination（）の終了用のAPIを提供します。いくつかのt秒後にflinkストリーミングを正常にシャットダウンするために使用できる類似のAPIはありますか？

0熱

1答えて

kafka-apache flink実行log4jエラー

私はカフカの統合で簡単なApache Flinkスクリプトを実行しようとしていますが、実行に問題があります。スクリプトは、カフカプロデューサーからのメッセージを読んで、それらを精緻化してから、処理結果を別のトピックに再度送り返す必要があります。私はここからこの例を取得しました： http://apache-flink-user-mailing-list-archive.2336050.n4.n

0熱

1答えて

Apache Flinkで2つのデータソースを連続的に処理します。

Apache Flinkで2つのファイルを順に処理したいと思います。具体例として、2番目のファイルの行が最初の行に続くように、各行にインデックスを割り当てたいとします。 val env = ExecutionEnvironment.getExecutionEnvironment val text1 = env.readTextFile("/path/to/file1") val text2

0熱

1答えて

カスタムソースからデータを連続的に書き出します。

私はApache Flink（1.3.1）で作業しているときに初めて質問をします。より詳しくは、私はflink-core、flink-cep、flink-streamingライブラリを扱っています。私のアプリケーションはAkka ActorSystemで、RabbitMQからのメッセージを消費し、さまざまなアクターがこのメッセージを処理します。いくつかのアクターでは、FlinkからStreamEx

1熱

1答えて

Apache Flink：バッファタイムアウトパラメータを変更するには？

Apache Flinkはタスクの送信をバッファし、処理のために次のタスクを送信します。バッファリングはレイテンシに影響し、バッファが満たされなくても次のタスクにデータを送信するためのバッファリングのタイムアウトがあることはわかっています。どのようにバッファリングタイムアウトを変更できますか？私はドキュメンテーションで何も見つけることができませんでした。 Flinkクラスタ単位またはTaskMa

0熱

1答えて

マップ関数のKafka/Flink統合の問題

私はApache Flinkでscalaで簡単なスクリプトを実行しています。 Apache Kafkaプロデューサーからデータを読みました。これは私のコードです。 import java.util.Properties import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment import org.

1熱

1答えて

FlickテーブルAPIとSQLとマップタイプ（Scala）

ストリーミング環境で、FlinkのテーブルAPIおよび/またはFlinkのSQLサポート（Flink 1.3.1、Scala 2.11）を使用しています。私はDataStream[Person]を始めている、とPersonはのように見えるケースクラスである：私は絵にattributesを持って開始するまで、すべてが期待どおりに動作している Person(name: String, age: Int

1熱

1答えて

Flink 2つのストリーム間のスカラ結合が機能していないようです

私はKafkaプロデューサーからの2つのストリーム（json）に参加したいと考えています。データをフィルタリングするとコードが機能します。しかし、私が彼らに加わるとうまくいかないようです。参加したストリームをコンソールに出力したいが、何も表示されない。これは私がこの問題は、タイムスタンプの割り当てにあると思います私のコード import java.util.Properties import

0熱

1答えて

FlinkはGraphiteにメトリックを送信しません

私は2つのApache Flinkクラスターを用意しています。プロダクションでは1.1.3、ステージングでは1.3.2です。メトリックをGraphiteサーバーに送信することに興味がありますので、https://ci.apache.org/projects/flink/flink-docs-release-1.3/monitoring/metrics.htmlで説明したように設定します。私は1