200KサンプルのトレーニングセットでMLlibランダムフォレスト(org.apache.spark.mllib.tree.RandomForest)を訓練するJavaアプリケーションがあります。私は、訓練中にCPUコアが1つしか使用されていないことに気付きました。ランダムフォレストがNデシジョンツリーのアンサンブルであることを考えれば、ツリーを並行して訓練し、すべての使用可能なコアを利用することができると考えるだろう。意思決定ツリーの並列訓練を可能にする構成オプションまたはAPIコール、または他に何かがありますか?Apache MLlibランダムフォレストの並列トレーニング
0
A
答えて
0
私はこれに対する答えを見つけました。この問題は、SparkConf.setMaster( "local")を使用してSparkの設定をどのようにセットアップするかで問題になりました。今、私たちは、はるかに高速ランニング、トレーニング、およびバージニア州のアマゾンのデータセンターはわずかである
を:私は、javadocのあたりとして、16個のスレッドを使用する(「[16]ローカル」)SparkConf.setMasterにこれを変更しますhotter :)
RTFMの典型的なケースですが、私の防衛では、このsetMaster()の使用は私にとってはちょっとハッキリです。より良い設計は、使用するローカルスレッド/コアの数を設定するための別個のメソッドを追加することです。
関連する問題
- 1. java apache spark mllib
- 2. Apache Flinkの並列度
- 3. TensorflowトレーニングのタイプエラーTensorForestEstimatorを使用したランダムフォレスト
- 4. 列スパークMLlibに変換は
- 5. Rキャレットのランダムフォレストの混同行列
- 6. apache spark MLlibを使ってミニバッチKmeansを実装するには?
- 7. Apache Spark 2.0.0とmllibを使った分散型Word2Vecモデルトレーニング
- 8. Apache Spark並行プログラムの例
- 9. ランダムフォレスト:新
- 10. ランダムフォレストは
- 11. ランダムフォレストのネガティブテストスコア
- 12. OpenCV - ランダムフォレストの例
- 13. sklearnのランダムフォレスト
- 14. ランダムフォレストのパラレル化
- 15. ランダムフォレストのサブセット
- 16. Rリニアリグレッションテールのランダムフォレスト
- 17. スパークのランダムフォレスト
- 18. Apache SparkのRandomForestRegressorに数値とカテゴリの機能を渡す方法:JavaのMLlib?
- 19. Macbookのランダムフォレスト(R、キャレットを使用)の並列実行による小さなスピードのゲイン
- 20. Spark MLlibリコメンダーエンジンのメソッド
- 21. Apache Spark:複数機械学習アルゴリズムの並列化
- 22. JavaでApache Spark MLlibのLabeledPoint機能を構築する最善の方法
- 23. mllib KernelDensityエラー
- 24. MatrixEntry CoordinateMatrix ... pyspark MLlib
- 25. MLlib LogisticRegressionWithLBFGSエラーmodel.predict
- 26. sklearnランダムフォレストの精度
- 27. ランダムフォレストのbaggingとmax_feature
- 28. ランダムフォレスト評価 - numpyの
- 29. OnevsrestClassifierとランダムフォレスト
- 30. 加重ランダムフォレスト
アクティブなスレッドが1つだけ表示された場合は、コードまたはコンフィグレーションで、org.apache.spark.mllib.tree.RandomForestではなく、 –
@LostInOverflow wikiの回答ですか? – eliasah
@eliasah Morten Jorgensenにこの質問を更新する時間を与えましょう。 –