1
SPARKで変数をブロードキャストすると、アプライチュエーションWeb UIのストレージタブに表示されません。それがどれだけのメモリを使用しているかを見ると便利でしょう。ブロードキャスト変数が表示されない理由はありますか?アプリケーションのUIストレージタブにブロードキャスト変数が表示されないのはなぜですか?
SPARKで変数をブロードキャストすると、アプライチュエーションWeb UIのストレージタブに表示されません。それがどれだけのメモリを使用しているかを見ると便利でしょう。ブロードキャスト変数が表示されない理由はありますか?アプリケーションのUIストレージタブにブロードキャスト変数が表示されないのはなぜですか?
私は同じ問題に出くわしたと2014年からこの依然未解決のチケットが見つかりました:https://issues.apache.org/jira/browse/SPARK-3957
それはドライバーに放送するvar情報を送信することは、新たな(かなり不要)チャネルを開くだろうと言います。回避策のプルリクエスト(何らかの他の情報の上にブロードキャスト情報を送信する)は何とか時間をかけて失われました... https://github.com/apache/spark/pull/2851
はい、それは優先事項ではないようです。ただし、ドライバに送信される値は必要ありません。ウェブUIだけです。私はそれが同じかどうかを知るためにスパークの内部について十分に知りません。 – ThatDataGuy