2017-04-01 12 views
0

私は100以上のカラムを持つpysparkにデータフレームを持っています。私がしたいのは、列名の先頭と列名の最後にダニ( `)を追加したいすべての列名です。例えばpython/pysparkデータフレーム内のすべてのカラムに接尾辞と接頭辞を追加するには

column name is testing user. I want `testing user` 

はpyspark/pythonでこれを行う方法があります。コードを適用すると、データフレームが返されます。

あなたが

df.na.withColumnRenamed('testing user', '`testing user`') 

編集新しいデータフレームを作成するためにnaと組み合わせてデータフレームのwithColumnRenamed方法を使用することができます

答えて

0

:あなたは次のように行うことができます、あなたは列のリストを持っていると仮定 -

old = "First Last Age" 
new = ["`"+field+"`" for field in old.split()] 
df.rdd.toDF(new) 

出力:

DataFrame[`First`: string, `Last`: string, `Age`: string] 
+0

私の答えが – Pushkr

+0

に更新されました。 mysqlからハイブまでのデータをxportして、sqoopだけを使うこともできます。データを処理する特別な処理をしない限り、sparkを実行する必要はありません。 – Pushkr

関連する問題