以上のコアを使用スパーク（Sparklyr）エラーは、私がローカルモードでSparklyrに以下の設定を使用しています

Question

を開きます。これは正常に動作します

conf <- spark_config() 
conf$`sparklyr.cores.local` <- 28 
conf$`sparklyr.shell.driver-memory` <- "1000G" 
conf$spark.memory.fraction <- 0.9 

sc <- spark_connect(master = "local", 
       version = "2.1.1", 
       config = conf) 

私はspark_read_csvを使用してCSVを読み込むとき。私は次のエラーを取得、このような

conf <- spark_config() 
conf$`sparklyr.cores.local` <- 30 
conf$`sparklyr.shell.driver-memory` <- "1000G" 
conf$spark.memory.fraction <- 0.9 

としてより多くのコアを使用する場合しかし：

Blockquote Error in value[3L] : Failed to fetch data: org.apache.spark.SparkException: Job aborted due to stage failure: Task 10 in stage 3.0 failed 1 times, most recent failure: Lost task 10.0 in stage 3.0 (TID 132, localhost, executor driver): java.io.FileNotFoundException: /tmp/blockmgr-9ded7dfb-20b8- 4c72-8a6f-2db12ba884fb/1f/temp_shuffle_e69d56ba-80b4-499f-a91f- 0ae63fe4553f (Too many open files) at java.io.FileOutputStream.open0(Native Method) at java.io.FileOutputStream.open(FileOutputStream.java:270) at java.io.FileOutputStream.(FileOutputStream.java:213) at org.apache.spark.storage.DiskBlockObjectWriter.initialize(DiskBlockObjectWriter.scala:102) at org.apache.spark.storage.DiskBlockObjectWriter.open(DiskBlockObjectWriter.scala:115) at org.apache.spark.storage.DiskBlockObjectWriter.write(DiskBlockObjectWriter.scala:235) at org.apache.spark.shuffle.sort.BypassMergeSortShuffleWriter.write(BypassMergeSortShuffleWriter.java:152) at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMa

を私は（ソフトとハードの両方）1040から419430までのulimitを増加し、これは何の違いが行われていません。

私のVMには128コアと2Tのメモリがあり、私はそれをすべて使用できるようにしたいと考えています。

提案がありますか？

Answer 1

Spark localモードは、少量の実験やユニットテスト用であり、実稼働用ではなく、システムの限界に関する問題は単なる氷山のピークです。これは単一のJVMで動作し、メモリー管理だけで多くの異なる問題が予想されます。

Overall Sparkはスケールアップ用ではなく、スケールアップ用に設計されています。ローカルモードでリソースを増やす場合は、パフォーマンスの向上と無駄な操作を期待するべきではありません。さらに、計算資源が高スループットのディスク構成でバックアップされていないと、リソースが十分に活用されません。