sparkで2つのデータフレームを結合している間に、空の結果を得る

Question

私はjoinに2つのdataframesをデータベースCassandraからスパークさせようとしています。

val table1=cc.sql("select * from test123").as("table1") 

val table2=cc.sql("select * from test1234").as("table2") 

table1.join(table2, table1("table1.id") === table2("table2.id1"), "inner") 
    .select("table1.name", "table2.name1") 

私は取得しています結果はemptyです。

Answer 1

ここでjoinの構文がわからない場合は、純粋なSQLの方法を試すことができます。 TABLE1とtable2の場合

table1.registerTempTable("tbl1") 
table2.registerTempTable("tbl2") 

val table3 = sqlContext.sql("Select tbl1.name, tbl2.name FROM tbl1 INNER JOIN tbl2 on tbl1.id=tbl2.id") 

また、あなたは本当に最初の場所で、上の参加行うには、同じIDを持って、表示されるはずです。

アップデート： - 理想的

import org.apache.spark.sql.SQLContext 
val sqlContext = new org.apache.spark.sql.SQLContext(sc) 

、はい、CSCも動作するはずです。あなたはhttp://spark.apache.org/docs/latest/sql-programming-guide.html

Answer 2

まず組合の両方のデータフレームを参照し、その後、一時テーブルとして