apache-flink

0熱

1答えて

FlinkストリームジョブでRichFlatmapFunctionを拡張するクラスがあります。 open()メソッドでJedisインスタンスを作成し、(jedis.close())メソッドをclose()に閉じて、変換を通過するすべてのレコードが同じJedisインスタンスを使用するようにします。この方法では以前に接続エラーが発生していませんでした。 "： java.net.SocketExcept

1熱

1答えて

Flinkストリーミングイベント時間ウィンドウ

私はEventTimeに基づいてウィンドウをテストする簡単な例を実行しています。私は処理時間で出力を生成することができますが、私がEventTimeを使用しているときに出力はありません。私が間違っていることを理解するのを助けてください。 5秒ごとにスライドするサイズ10秒のSlidingWindowを作成しています。ウィンドウの最後に、その時間に受信したメッセージ数が表示されます。 input :

1熱

1答えて

Flinkの一括反復演算子とwhileループの違いは何ですか？

Flink documentationから、わかっているループは反復演算子で実装できます。 Flinkコードは遅延評価されるため、whileループを使用して終了条件を評価することはできません。しかし、initial.iterate(10){...}のような一括反復では、同じ効果を達成するためにwhileループを使用できますか？ var dataset = ... while (i < 10)

0熱

1答えて

Flink 1.4カラム 'rowtime'がテーブルに見つかりません

私はconfigure a TableSource with a rowtime attributeのドキュメントに従っています。私は KafkaTableSource source = Kafka08JsonTableSource.builder()// set Kafka topic .forTopic("alerting") // set Kafka consu

0熱

1答えて

複数のカフカトピックを異なるパスでs3にシンクします

Flink 1.4のリリースで、FlinkKafkaConsumer011にはトピックのための正規表現をread-rad関数btwに渡す機能があります。今、私は、単一のFlinkアプリケーションがBucketingSinkを使ってこれらのトピック（Avroメッセージ）のそれぞれをシンクしてs3内の場所を区切る方法があるかどうか疑問に思っています。例： s3://bucket/topic_1 s3

2熱

1答えて

1.4 ApacheのFLINK上foldLeft事業者と同等のは、ウィンドウが、その後</p>が <p>集約演算の出力は集合体であるkeyBy私は、その後でDataStream と、この使用してApache FLINK 1.4 開始のようなストリームを設定しているでDataStream

ありますAggregateResultオブジェクト今終了するストリームはSingleOutputStreamOperator型です私が次に望むのは、scala foldLeftと同じです。その機能を提供する演算子がありますか？おかげ

0熱

1答えて

なぜflinkコンテナのvcoreサイズは常に1

私は糸（より正確にはAWS EMR糸クラスター）でflinkを実行しています。私はflinkドキュメントとソースコードを読んで、各タスクマネージャコンテナのデフォルトでは、スレッドからリソースを要求するときに、タスクマネージャごとのスロット数をvcoresの数として要求します。そして、私はまた、ソースコードから確認：私は-yn 1 -YS 3が、私は、糸が唯一のタスクマネージャコンテナの3 v

2熱

2答えて

Flink 1.3.2から1.4.0へのアップグレードhadoop FileSystemとPathの問題

最近Flink 1.3.2から1.4.0へのアップグレードを試みましたが、もうorg.apache.hadoop.fs.{FileSystem, Path}をインポートできない問題があります。問題は、2つの場所で発生している： ParquetWriter： import org.apache.avro.Schema import org.apache.avro.generic.GenericRe

0熱

1答えて

ApacheのFLINK：我々は、動的ファイルから例えばをスキーマを読み取るために推論スキーマを使用することができますスパークスパーク

のようなCSVファイルのスキーマを推測： df = sqlContext.read.format('com.databricks.spark.csv').options(delimiter='|',header='true', inferschema='true').load('cars.csv') がFLINKで同じことを行うためにそこに方法は何ですか？