0
スパークバージョン：1.6.3スパークスリフトサーバへのアクセス中にエラーが発生しました
私はプロキシとしてスパークスリフトサーバを使用しています。しかし、それは私が期待したほど長く動かない。高負荷になると常に停止します。
これはアクセスするとエラーです。 Javaヒープスペース
しかし、私は、私は増やす必要があるか、メモリを知らない：
- 私はエラーがjava.lang.OutOfMemoryErrorをある参照
<html> <head> <meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1"/> <title>Error 500 Server Error</title> </head> <body><h2>HTTP ERROR 500</h2> <p>Problem accessing /jobs/. Reason: <pre> Server Error</pre></p><h3>Caused by:</h3><pre>java.lang.OutOfMemoryError: Java heap space \t at java.util.Arrays.copyOfRange(Arrays.java:3664) \t at java.lang.String.<init>(String.java:207) \t at java.lang.StringBuilder.toString(StringBuilder.java:407) \t at scala.collection.mutable.StringBuilder.toString(StringBuilder.scala:427) \t at scala.xml.Node.buildString(Node.scala:161) \t at scala.xml.Node.toString(Node.scala:166) \t at org.apache.spark.ui.JettyUtils$$anonfun$htmlResponderToServlet$1.apply(JettyUtils.scala:55) \t at org.apache.spark.ui.JettyUtils$$anonfun$htmlResponderToServlet$1.apply(JettyUtils.scala:55) \t at org.apache.spark.ui.JettyUtils$$anon$1.doGet(JettyUtils.scala:83) \t at javax.servlet.http.HttpServlet.service(HttpServlet.java:735) \t at javax.servlet.http.HttpServlet.service(HttpServlet.java:848) \t at org.spark-project.jetty.servlet.ServletHolder.handle(ServletHolder.java:684) \t at org.spark-project.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1507) \t at org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter.doFilter(AmIpFilter.java:179) \t at org.spark-project.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1478) \t at org.spark-project.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:499) \t at org.spark-project.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1086) \t at org.spark-project.jetty.servlet.ServletHandler.doScope(ServletHandler.java:427) \t at org.spark-project.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1020) \t at org.spark-project.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:135) \t at org.spark-project.jetty.server.handler.GzipHandler.handle(GzipHandler.java:301) \t at org.spark-project.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:255) \t at org.spark-project.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116) \t at org.spark-project.jetty.server.Server.handle(Server.java:370) \t at org.spark-project.jetty.server.AbstractHttpConnection.handleRequest(AbstractHttpConnection.java:494) \t at org.spark-project.jetty.server.AbstractHttpConnection.headerComplete(AbstractHttpConnection.java:973) \t at org.spark-project.jetty.server.AbstractHttpConnection$RequestHandler.headerComplete(AbstractHttpConnection.java:1035) \t at org.spark-project.jetty.http.HttpParser.parseNext(HttpParser.java:641) \t at org.spark-project.jetty.http.HttpParser.parseAvailable(HttpParser.java:231) \t at org.spark-project.jetty.server.AsyncHttpConnection.handle(AsyncHttpConnection.java:82) \t at org.spark-project.jetty.io.nio.SelectChannelEndPoint.handle(SelectChannelEndPoint.java:696) \t at org.spark-project.jetty.io.nio.SelectChannelEndPoint$1.run(SelectChannelEndPoint.java:53) </pre> <hr /><i><small>Powered by Jetty://</small></i><br/> </body> </html>実行中のサーバのメモリSPARK
- エグゼSPARK
- 他のメモリのconfigureで設定...
アップデート：私のSPARKは
あなたはspark.executor.memoryを増やす必要があります。自分の投稿で自分の設定を更新します。私はspark.executor.memoryのプロパティに4Gを使用します –
はい？ OOMのエラーが発生しないようにする場合は、もっと大きくしてください –
HDPではAmbariが「Spark daemon memory」の下のすべてをグループ化します。 –