0
BFSそれらをクリアする。私は放送変数のクリアランスが完全に行われていないのだろうか?私は以下の最新のエラーメッセージを添付しました。ありがとう!メモリ内java.lang.OutOfMemoryErrorをはOutOfMemoryErrorのは、私がこのようにBFS 20+回の呼び出し後に表示される
16/07/11 09:44:28 INFO storage.BlockManagerInfo: Removed broadcast_922_piece0 on dsg-cluster-server-s06.xxx:40047
(サイズ:8.1キロバイト、無料:3.0 GB)
16/07/11 09:44:38 INFO storage.MemoryStore: Block broadcast_924 stored as values in memory (estimated size 24.4 KB, free 2.8 MB)
Exception in thread "dag-scheduler-event-loop" java.lang.OutOfMoryError: Java heap space
返信いただきありがとうございます。しかし、ドライバのメモリは32Gに設定されていました。 。 – Yiliang
クライアントモードで実行していますか(デフォルト)、クライアントモードでは、アプリケーションのサブミット時に-driver-memoryを使用してドライバメモリを設定する必要があるためです。 – Dikei
ありがとう!問題は解決されました。クライアントモードで実行していて、引数としてsubmitを使用してspark.driver.memoryを設定しています。 – Yiliang