/usr/bin/SPARKを使用してTOPに対するCPU使用率

Question

SparkのMLIBライブラリを使用してSVMアルゴリズムを実行しました。サイズは8G、700万行です。私は単一のノード上でスタンドアロンモードでSparkを実行しています。

私は/ usr/bin/time -vを使ってジョブに関するデータを取得しました。ピークメモリ使用率と％CPU時間を得ました。私が得たCPU使用率はわずか6％でした。プログラムが実行されている間に私はTOPを監視していましたが、100％以上がほぼ一貫して使用されていることがわかりました。私は今なぜ/ usr/bin/timeが6％しか示さなかったのか混乱していますか？

詳細 - 私のマシンは16Gで、実行していたプログラムは13.88Gを消費していました。プログラムは2.1時間後に実行されます。

洞察はありますか？

Answer 1

問題を見つけました。 usr/bin/timeが示したもの（6％）は、使用可能なCPUの合計（この場合は8つのスレッド）の割合で、TOPは1つのスレッドに対して100％を示していました。私がSparkContext（sc = SparkContext（ "local"）で "ローカル"ではなく "ローカル"ではないと言及していたのは、8人ではなく1つのスレッドしか使用されていなかった理由です） 、...）。それについてもっと読むHERE。