スパークタスク実行シリーズ

Question

私はドライバでSparkアプリケーションを実行しています。

val count=0; 
val test_dataframe =//extrenal frame 
count=test.count(); 
println("The count of frame is " + count); 

私の質問がある従うよう

ですがシンプルである第三行は常にフレームの数を計算した後に実行された場合。データフレームとそのカウントを実行する前に、ドライバが最初にprintlnコマンドを実行することは可能ですか？

Answer 1

いいえ上記のコードでは、test.count()より前にprintlnを実行することはできません。カウントは破れ操作であり、端末操作を呼び出すと、移動する前に計算を実行するよう強制されます。

あなたは非同期ここで、その後カウントしたい場合は動作するコードスニペットです：

var future = test.rdd.countAsync 
println("The count before future evaluation: " + count) 
count = future.get 
println("The count after future evaluation: " + count) 

注countAsyncアクションがデータフレーム上で直接利用できないこと。 RDDで実行できます。