私は今</p> <pre><code>sc = SparkContext() sqlc = SQLContext(sc) users_df = sqlc.read.json('users.json') </code></pre> <p>としてJSONファイルから<em>pyspark</em>を通じて構築スパークデータフレームを持ってPyspark DATAFRAMEで選択された行から

Question

を特定のフィールドを取得、私はこれがあるchosen_userデータを、アクセスしたいです_idフィールド。私はすることができます

print users_df[users_df._id == chosen_user].show() 

これは私にユーザーの完全な行を与えます。しかし、行の中に特定のフィールドを1つだけ望み、ユーザーの性別をどのように取得すればよいとしますか？

Answer 1

だけでフィルタリングして選択します。

result = users_df.where(users_df._id == chosen_user).select("gender") 

またはcol

from pyspark.sql.functions import col 

result = users_df.where(col("_id") == chosen_user).select(col("gender")) 

とを最後にPySpark は、たとえばflatMapのためにあなたができるように、単にいくつかの拡張子を持つtupleです：

result.rdd.flatMap(list).first() 

またはmapは次のようになります。

result.rdd.map(lambda x: x.gender).first()