pysparkの選択とマップは出力値の点でどのように違いますか？

Question

このデータフレームを変換するこれらの2つの方法が異なる出力データフレームをもたらすのはなぜですか？ rddのデータフレームとマップでselectを使用すると同じ値が出力されるようですが、カラムの平均をとると結果が異なります。何が起きてる？

wrong_parsed_data_df = parsed_points_df.select((parsed_points_df.label - min_year).alias('label'), 'features') 
parsed_data_df = parsed_points_df.rdd.map(lambda row: LabeledPoint(row['label'] - min_year, row['features'])).toDF() 

# View the first point 
print '\n{0}'.format(wrong_parsed_data_df.first()) 
print '\n{0}'.format(parsed_data_df.first()) 

print '\n{0}'.format(wrong_parsed_data_df.count()) 
print '\n{0}'.format(parsed_data_df.count()) 

print wrong_parsed_data_df.printSchema() 
print parsed_points_df.printSchema() 

Ouputs：

Row(label=79.0, features=DenseVector([0.8841, 0.6105, 0.6005, 0.4747, 0.2472, 0.3573, 0.3441, 0.3396, 0.6009, 0.4257, 0.6049, 0.4192])) 

Row(features=DenseVector([0.8841, 0.6105, 0.6005, 0.4747, 0.2472, 0.3573, 0.3441, 0.3396, 0.6009, 0.4257, 0.6049, 0.4192]), label=79.0) 

6724 

6724 

root 
|-- label: double (nullable = true) 
|-- features: vector (nullable = true) 

None 
root 
|-- features: vector (nullable = true) 
|-- label: double (nullable = true) 

その後：

average_train_year = (parsed_train_data_df 
        .selectExpr('avg(label)').first())[0] 

wrong_average_train_year = (wrong_parsed_train_data_df 
         .selectExpr('avg(label)').first())[0] 

print average_train_year 
print wrong_average_train_year 

出力：

54.0403195838 
54.0570419918 

Answer 1

最も可能性の高いソリューションは、あなたのコード内のエラーです - あなたは中parsed_data_dfを使用しています最初のセルとつ目はです。