spark.ml.gradientboostingの進捗状況レポート？

私はspark.mlグラジエントブースティングを使用しています。結果を得るまでにはおよそ1日かかります。進行状況を表示する方法はありますか？（これまでに生成されたツリーの数など）spark.ml.gradientboostingの進捗状況レポート？

出典

2016-07-31 B log

スパークWeb UIでチェックできる定期的なタスクの進行状況は、残念ながら通常はありません。 – eliasah

log4j.propertiesファイルでデフォルトのログレベルを "DEBUG"に設定するか、シェル内のSparkコンテキストを変更してspark.sparkContext.setLogLevel("DEBUG")を変更します。これにより、デバッグメッセージにツリー構造上のステータス更新が提供されます。

[DEBUG] 2016-07-31 11:36:23,689 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - ################################################### 
[DEBUG] 2016-07-31 11:36:23,690 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - Gradient boosting tree iteration 2 
[DEBUG] 2016-07-31 11:36:23,690 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - ###################################################

デバッグログ情報には、各繰り返しでのGBTのエラーも表示されます。

出典

2016-07-31 18:39:44

ありがとうセス。私はSpark StandaloneでIpython（pyspark）を使用しています。自分のノートブックでsc.setLogLevel（ "DEBUG"）を実行しましたが、私のログにDEBUGメッセージは表示されません。 –

spark.ml.gradientboostingの進捗状況レポート？

答えて

関連する問題