1
私にJava.lang.OutOfMemoryError：Javaヒープスペース（またはGCオーバーヘッド）を与えるSparkジョブがあります。スパークが外部結合メモリの問題を残しました
完全なタスクの統計に75パーセンタイルのメモリが表示され、ディスクスピルが0であるステージでは、最大でそれぞれ1732.5 MBと145.5 MBのように見えます。
私は、leftOuterJoin中にすべての行の70％以上を表すキーを持っていると確信しています。
この結合を実行するときに、複数のパーティションにこのキーに関連付けられた値を分散する方法はありますか？
おかげで