2017-06-07 11 views

答えて

1

HeartbeatReceiverlinesを考えると、それはspark.network.timeoutは秒であることをようです。

// "spark.network.timeout" uses "seconds", while `spark.storage.blockManagerSlaveTimeoutMs` uses 
// "milliseconds" 
private val slaveTimeoutMs = 
    sc.conf.getTimeAsMs("spark.storage.blockManagerSlaveTimeoutMs", "120s") 
private val executorTimeoutMs = 
    sc.conf.getTimeAsSeconds("spark.network.timeout", s"${slaveTimeoutMs}ms") * 1000 

Spark Propertiesにおけるスパークの公式ドキュメントは言う:いくつかの時間の長さを指定し

プロパティは、時間の単位で設定する必要があります。

バイトサイズを指定するプロパティは、サイズ単位で構成する必要があります。

あなたの質問と私の答えはうまくいけばうまくいけば分かります。

+1

デフォルトの '120s'は第2の ''接尾辞を使うべきであることを意味しているので、ドキュメントに記述する必要があります。 – kecso

関連する問題