Spark 2.0でデカルト結合を有効にするにはどうすればいいですか？

Question

私はエラーの下に遭遇していますスパーク2.0に2のデータフレームに参加横断する必要があります。

Userクラスが例外をスローしました：

org.apache.spark.sql.AnalysisException: Cartesian joins could be prohibitively expensive and are disabled by default. To explicitly enable them, please set spark.sql.crossJoin.enabled = true; 

はどここの構成を設定するために私を助けてください、私は日食でコーディングしています。その後

val sparkConf = new SparkConf().setAppName("Test") 
sparkConf.set("spark.sql.crossJoin.enabled", "true") 

取得したり、このSparkConf

を渡すことによって SparkSessionを作成します。

Answer 1

エラーメッセージが明確にあなたがあなたが以下のように同じものを設定することができ、あなたのスパーク構成

にspark.sql.crossJoin.enabled = trueを設定する必要が述べたよう

val sparkSession = SparkSession.builder().config(sparkConf).getOrCreate() 

あなたの参加をしてください...