pyspark：パラメーターとしてRDDをクラスに渡す

Question

クラスコンストラクターにパラメーターとして渡された行から値を取得するのに役立つでしょうか（または）より良い方法を提案してください。私の目的は、すべてのフィールドの価値を検証することです。各フィールドには異なる検証基準があります。

私はHiveContextを使用してハイブテーブルを読み込み、データフレームに保存されています

は、これは私がやっているものです。このデータフレームをRDDに変換しました。 RDDの各行をクラスコンストラクタに渡しています。

class Normalizer(): 
    def __init__(self,val): 
     logging.info("Normalizer start...%s"%val) 

ヴァル（コンソールで）のように見える：

[ロウ（ID = u'12' 、= u'xx COL1 'COL2 u'yy ='、...）]

ノーマライザの各フィールドに解析メソッドを書きました。 これで、それぞれのフィールド値を対応するメソッドに渡してデータを検証する必要がありました。

どのようにフィールドの各値を取得しますか？ val.idは機能しません。

また、より良いアプローチがあるかどうかをご提案ください。

ありがとうございます！

Answer 1

• あなたの行がリスト内にあるように見えます：

  ここの機能を使用しないのはなぜ

  val[0].id 
  

• ？あなたは彼女が `取る（）`や `collect`使用しているため、行がリスト内にある理由はおそらく、あなたの最初の箇条書きに

  def normalize(row): 
      .... validate row.id ... 
      return Row(validated = is_validated, id=row.id) 
  
  myrdd.map(normalize)