引数が多すぎます

Question

これは私のコードであるlog_type = "1" 行をフィルタリングすることである。

val sc1Rdd=parDf.select(parDf("token"),parDf("log_type")).rdd 

val sc2Rdd=sc1Rdd.filter(x=>x,log_type=="1") 

が、エラーコードが示された：

parDf: org.apache.spark.sql.DataFrame = [action_time: bigint, action_type: bigint ... 21 more fields] sc1Rdd: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[865] at rdd at :186 :188: error: too many arguments for method filter: (f: org.apache.spark.sql.Row => Boolean)org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] val sc2Rdd=sc1Rdd.filter(x=>x,log_type=="1")

すべてのヘルプは意志感謝する。

Answer 1

あなたは、このことができます

val result = parDf.select(parDf("token"),parDf("log_type")).filter(parDf("long_type")===1) 

parDf.select(p===1)arDf("token"),parDf("log_type")).where(parDf("long_type") 

希望としてあなたは、単にフィルタリングすることができRDD にデータフレームまたは場所を変更する必要はありません！