Javaアサーションが失敗しました。ブロードキャストヒントの計画はありません

Question

Spark SQL 1.5.0を使用しています。データフレームが2つあり、1つ小さい（3 MB未満）ものが2つ目です。ブロードキャストを使用したいスパークSQL関数（強力な放送ヒント）が、私は以下のエラーになっています。 PF1のデータフレームは3 MBのデータ

df1.join(broadcast(pf1)).show() 

java.lang.AssertionError: assertion failed: No plan for BroadcastHint. Unable to find it out solution(because of this my simple join taking morethan 40 min time without broadcast),

のボリュームすべてのヘルプは、あなたは現在の参加条件を指定しないことによって参加クロスをやっている

Answer 1

を高く評価しています。 col("pf1_id") === col("id")

などの結合条件を追加すると、結合がはるかに高速になるはずです。クロスジョインを実際に行う必要がある場合は、より多くのコード、サンプルデータ、およびより広範なスタックトレースをさらに詳しく説明してください。