1
私はRowMatrix.computeSVDをスカラーで実行していますが、UIでは "treeAggregate"だけがクラスタ上で実行されているように見え、その後アプリケーションマスターのUIは何も表示されませんcomputeSVDを引き続き実行します。だから私は、 "treeAggregate"だけがクラスタ上で実行され、残りはドライバ上で実行されていると仮定しています。Spark - ドライバで実行されるMLlib computeSVD
すべてのSVDをクラスタ上で実行させる方法はありますか?ドライバは通常、限られたリソースしか持たず、9446 * 9446の行列に対してはcomputeSVDに時間がかかります。
OK zero323、私はk = 9446を使用しているので、寸法を節約する必要があります。後で元の行列の逆行列を実行するためにSVDを使用しています。私はこれが大規模だと思うが、私はまだクラスタ上で配布された仕事を見ていない、それはドライバで実行されます –
zero323、私は完全なランクを使用する場合はどうしますか? –
ここにまともな解決策がない場合。必要なクラスはすべて 'private'から' mllib'までであるので、ここではあまり選択肢がありません。アクセス制限を再実装するか意図的に中断する。 – zero323