スパークオブジェクトのランタイムエラー

Question

MY RAMサイズは3ギガバイトである としてエラーになって、私のローカルシステムでプログラムを実行している間、ソリューション

Exception in thread "main" java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration. 
    at org.apache.spark.memory.UnifiedMemoryManager$.getMaxMemory(UnifiedMemoryManager.scala:216) 
    at org.apache.spark.memory.UnifiedMemoryManager$.apply(UnifiedMemoryManager.scala:198) 
    at org.apache.spark.SparkEnv$.create(SparkEnv.scala:330) 
    at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:174) 
    at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:257) 
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:432) 
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2313) 
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868) 
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860) 
    at scala.Option.getOrElse(Option.scala:121) 
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:860) 
    at SparkCore.cartesianTransformation$.main(cartesianTransformation.scala:11) 
    at SparkCore.cartesianTransformation.main(cartesianTransformation.scala) 

Answer 1

を必要とするのサイズを大きくしようとするあなたの火花ドライバが小さなメモリで実行されているようですドライバメモリ。 --driver-memory 4gを使用して、ドライバにメモリサイズを提供できます。

希望すると便利です。