0
スパークSQLは次のようである原因：A用はOOM
INSERT INTO new
SELECT
~~~
FROM A, B
WHERE
~~~ (complex join)
スキーマおよび新しいは同じであり、そしてBは、フィルタリングのためのいくつかのパターンを有しています。 Bのサイズは小さく、ブロードキャストされます。
ローカルテストでOOMエラーが表示されます。
Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
at org.apache.spark.sql.catalyst.expressions.UnsafeRow.copy(UnsafeRow.java:535)
at org.apache.spark.sql.catalyst.expressions.UnsafeRow.copy(UnsafeRow.java:93)
私はパーティションを変更しようとしましたが、（spark.shuffle.memoryFractionのような）いくつかの設定が変更されましたが、動作しませんでした。
私はSpark 1.6を使用しています。 ありがとうございます。