spark/passデータフレーム値を別のsparksqlクエリに使用するインクリメンタル・インサート

Question

sparkを使用してインクリメンタル・インサートを実装したいと思います。私がここで使用しているアプローチは、主キーの最大値を取得し、それを設定ポイントとして使用することです。しかし、問題はどのように私はデータフレームを変換し、別のクエリに渡すことができますです。私はidとMAXR same.Doingするの値を見てみたいと思います

query="""select requestid as maxr from st where requestid='{}'""".format(id) 
dfjoin = sqlContext.sql(query) 
dfjoin.show() 

クエリの下に

id=sqlContext.sql("""select max(requestid) as maxr from st""") 

パスIDは、上記の動作するようには思えないし、任意の値を返していません。

助けてください。おかげ

Answer 1

おかげで、以下

は `ID = sqlContext.sqlは（ "" "" "目からMAXRとして最大（requestid）を選択"）私のため

id=sqlContext.sql("""select max(requestid) as maxr from st""").collect()[0][0]