スパークストリーミングで「レコード数」ベースのウィンドウを作成できますか？

JavaDstreamの前後の要素に基づいて計算を行う必要があります。しかし、それらにアクセスするには、レコード数に基づいてスライディングウィンドウを作成する必要があります。私は今の質問は、私はそれから、前回の現在と次のレコードにアクセスするにはどうすればよいです、時間ベースのウィンドウを作成している私のコードではスパークストリーミングで「レコード数」ベースのウィンドウを作成できますか？

 JavaStreamingContext javaStreamingContext = createSteamingContext(settings); 
    JavaPairInputDStream<String, String> pivotedKafkaData = KafkaSource.getStream(javaStreamingContext, settings); 
    JavaDStream<VoyageData> voyageData = pivotedKafkaData.map(Tuple2::_2) 
     .map(StreamProcessor::getStandardizedRecords) 
     .map(Functions::getVoyageDataRecords); 

    JavaDStream<VoyageData> windowedVoyageData = voyageData.window(Durations.seconds(4),Durations.seconds(4));

。

出典

2016-12-08 Vikas Gite

PLSのためにステートフル変換のためのupdateStateByKey（FUNC）変換を使用することができます役に立った： –

あなたはスパークストリーミングを使用してそれを達成する方法を理解しましたか？ – mbaxi

スパークストリーミングで「レコード数」ベースのウィンドウを作成できますか？

答えて

関連する問題