SparkでのRDD数の最大制限

Question

私はSparkを初めて使用しており、現在、関連する概念を学んでいます。私が持っている基本的な質問の1つは、SparkのRDD数の制限は何ですか？

Answer 1

私の知る限り、SparkではRDDの数に制限はありません。

メモリとディスクのスワップスペースに制限があります。スパークは展開/使用できます。

私は40 TBのデータを生産しているにも関わらず、何らかの限界に達しています。