2016-10-24 11 views
0

リストの長さに等しい行数の整数とsqlcontextデータフレームがあります。リストをこのデータフレームに列として追加して、順序を維持したいと考えています。私はこれが本当にシンプルでなければならないと感じますが、私は洗練された解決策を見つけることができません。リストを列としてpysparkのDataframeに追加

答えて

1

リストはローカルオブジェクトであり、データフレームは分散されているため、単にリストをデータフレーム列として追加することはできません。データフレームからキーで(余分な列を追加し、リストまたは

  • 変換リストからデータフレームに対応する値を追加しcollect()toLocalIterator()でローカルに

    • コンバートデータフレームと各行について:あなたはアプローチをfollowin THWのいずれかを試すことができます)そして両方を一緒に参加させてください。
  • +0

    collectまたはtoLocalIteratorがメモリを圧倒してしまったため、2番目の処理が終了しました。問題は、第二のポイントを行う方法を理解するのに時間がかかり、部分的に私が質問した理由です。私はもっ​​と優雅な方法があることを望んでいたので、これを明示的に尋ねなかった。 –

    関連する問題