2016-07-11 6 views
0

BFSそれらをクリアする。私は放送変数のクリアランスが完全に行われていないのだろうか?私は以下の最新のエラーメッセージを添付しました。ありがとう!メモリ内java.lang.OutOfMemoryErrorをはOutOfMemoryErrorのは、私がこのようにBFS 20+回の呼び出し後に表示される

16/07/11 09:44:28 INFO storage.BlockManagerInfo: Removed  broadcast_922_piece0 on dsg-cluster-server-s06.xxx:40047 

(サイズ:8.1キロバイト、無料:3.0 GB)

16/07/11 09:44:38 INFO storage.MemoryStore: Block broadcast_924 stored as values in memory (estimated size 24.4 KB, free 2.8 MB)                  

Exception in thread "dag-scheduler-event-loop" java.lang.OutOfMoryError: Java heap space 

答えて

1
Exception in thread "dag-scheduler-event-loop" java.lang.OutOfMoryError: Java heap space 

これは、ドライバプロセスの例外で、あなたのドライバのメモリを増やす必要があります。

+0

返信いただきありがとうございます。しかし、ドライバのメモリは32Gに設定されていました。 。 – Yiliang

+0

クライアントモードで実行していますか(デフォルト)、クライアントモードでは、アプリケーションのサブミット時に-driver-memoryを使用してドライバメモリを設定する必要があるためです。 – Dikei

+0

ありがとう!問題は解決されました。クライアントモードで実行していて、引数としてsubmitを使用してspark.driver.memoryを設定しています。 – Yiliang

関連する問題