非同期でSparkでデータセットを収集

RDDにはcollectAsync()がありますが、Sparkで非同期にデータセットを収集する方法はありますか？誰かがすでにここに答えを与えている非同期でSparkでデータセットを収集

出典

2017-08-22 fattah.safa

-2

、リンクに

what is the difference between spark javardd methods collect() & collectAsync()?

出典

2017-08-22 06:54:52 learner

このリンクを開けましたか？私が言ったことは、リンク – learner

を確認しています。 'collect'と' collectAsync'の違いを述べています。コメントするには十分な評判があります。これが重複していると思われる場合は、その質問にコメントし、そのようにフラグを立てます。 – philantrovert

を確認してくださいはいcollectAsync（）は非同期にデータセットを収集する方法です。

RDD操作では、collectAsync（）は遅延がなく、collect（）です。

val value = rdd.collect() //RDD elements will be copied to spark driver 
val value = rdd.collectAsync() //no copy here 
value.get() //Now, RDD elements will be copied to spark driver

出典

2017-08-22 07:00:11

あなたの答えをありがとう。実際に私はRDDではなく、データセット関数を探しています。 –

非同期でSparkでデータセットを収集

答えて

関連する問題