0
リストの長さに等しい行数の整数とsqlcontextデータフレームがあります。リストをこのデータフレームに列として追加して、順序を維持したいと考えています。私はこれが本当にシンプルでなければならないと感じますが、私は洗練された解決策を見つけることができません。リストを列としてpysparkのDataframeに追加
リストの長さに等しい行数の整数とsqlcontextデータフレームがあります。リストをこのデータフレームに列として追加して、順序を維持したいと考えています。私はこれが本当にシンプルでなければならないと感じますが、私は洗練された解決策を見つけることができません。リストを列としてpysparkのDataframeに追加
リストはローカルオブジェクトであり、データフレームは分散されているため、単にリストをデータフレーム列として追加することはできません。データフレームからキーで(余分な列を追加し、リストまたは
collect()
かtoLocalIterator()
でローカルに
collectまたはtoLocalIteratorがメモリを圧倒してしまったため、2番目の処理が終了しました。問題は、第二のポイントを行う方法を理解するのに時間がかかり、部分的に私が質問した理由です。私はもっと優雅な方法があることを望んでいたので、これを明示的に尋ねなかった。 –