0
私は100以上のカラムを持つpysparkにデータフレームを持っています。私がしたいのは、列名の先頭と列名の最後にダニ( `)を追加したいすべての列名です。例えばpython/pysparkデータフレーム内のすべてのカラムに接尾辞と接頭辞を追加するには
:
column name is testing user. I want `testing user`
はpyspark/pythonでこれを行う方法があります。コードを適用すると、データフレームが返されます。
あなたがdf.na.withColumnRenamed('testing user', '`testing user`')
編集新しいデータフレームを作成するためにna
と組み合わせてデータフレームのwithColumnRenamed
方法を使用することができます
私の答えが – Pushkr
に更新されました。 mysqlからハイブまでのデータをxportして、sqoopだけを使うこともできます。データを処理する特別な処理をしない限り、sparkを実行する必要はありません。 – Pushkr