2017-05-16 4 views
3
[Stage 5:=====> (26372 + 264)/27840] 

[stage 6:=========> (0 + 200)/200 ] 

こんにちは、私はスパーク1.6.1を使用しています。表示されるスパークシェルの意味

私はspark-shellを使ってデータを見ています。ここでは各数字の意味を知りたいと思います。

(A + B/C) 

答えて

4

[Stage 5:=====> (26372 + 264)/27840]の意味は

(numCompletedTasks + numActiveTasks)/totalNumOfTasksInThisStage) 
  • 完了したタスク数=アクティブなタスクの26372
  • 数=この段階でタスクの264
  • 総数= 27840
  • です
+0

明確な説明をいただきありがとうございます。私はもう1つの質問を追加したい!アクティブなタスクの数はワーカーノードの数に関連していますか? numActiveTasksをどのようにして高速化できますか? – reapasisow

+0

No.タスクの数は、ジョブ内の各ステージごとのすべてのパーティションの合計です。 –

関連する問題