私は、このデータフレームのサンプルまし

Question

データフレームの行あたりのデータが不足してカウントする方法：

from pyspark.sql.types import * 

schema = StructType([ 
StructField("ClientId", IntegerType(), True), 
StructField("m_ant21", IntegerType(), True), 
StructField("m_ant22", IntegerType(), True), 
StructField("m_ant23", IntegerType(), True), 
StructField("m_ant24", IntegerType(), True)]) 

df = sqlContext.createDataFrame(
         data=[(0, None, None, None, None), 
           (1, 23, 13, 17, 99), 
           (2, 0, 0, 0, 1), 
           (3, 0, None, 1, 0), 
           (4, None, None, None, None)], 
           schema=schema) 

私は、このデータフレームがあります。

+--------+-------+-------+-------+-------+ 
|ClientId|m_ant21|m_ant22|m_ant23|m_ant24| 
+--------+-------+-------+-------+-------+ 
|  0| null| null| null| null| 
|  1|  23|  13|  17|  99| 
|  2|  0|  0|  0|  1| 
|  3|  0| null|  1|  0| 
|  4| null| null| null| null| 
+--------+-------+-------+-------+-------+ 

をそして、私はこの質問を解決する必要があります。 Iを新しい変数を作成して、1行あたりのデータ数がいくつあるかを数えます。例えば：

• ClientIdを3でなければならないClientIdを0 4
• ClientIdを1であるべきではDFがpyspark.sql.dataframe.DataFrameであることを1

注意すべきです。ここで

Answer 1

は一つの選択肢である：あなたがここに、スキーマに対処したくない場合は

from pyspark.sql import Row 

# add the column schema to the original schema 
schema.add(StructField("count_null", IntegerType(), True)) 

# convert data frame to rdd and append an element to each row to count the number of nulls 
df.rdd.map(lambda row: row + Row(sum(x is None for x in row))).toDF(schema).show() 

+--------+-------+-------+-------+-------+----------+ 
|ClientId|m_ant21|m_ant22|m_ant23|m_ant24|count_null| 
+--------+-------+-------+-------+-------+----------+ 
|  0| null| null| null| null|   4| 
|  1|  23|  13|  17|  99|   0| 
|  2|  0|  0|  0|  1|   0| 
|  3|  0| null|  1|  0|   1| 
|  4| null| null| null| null|   4| 
+--------+-------+-------+-------+-------+----------+ 

---

別のオプションは次のとおりです。

from pyspark.sql.functions import col, when 

df.withColumn("count_null", sum([when(col(x).isNull(),1).otherwise(0) for x in df.columns])).show() 

+--------+-------+-------+-------+-------+----------+ 
|ClientId|m_ant21|m_ant22|m_ant23|m_ant24|count_null| 
+--------+-------+-------+-------+-------+----------+ 
|  0| null| null| null| null|   4| 
|  1|  23|  13|  17|  99|   0| 
|  2|  0|  0|  0|  1|   0| 
|  3|  0| null|  1|  0|   1| 
|  4| null| null| null| null|   4| 
+--------+-------+-------+-------+-------+----------+