共通のラベルで始まるすべての列を選択する方法

Question

私はSpark 1.6でデータフレームを持っており、そこからいくつかの列を選択したいと考えています。私は特定の列を選択するには、このように行うことができます知っている

colA, colB, colC, colD, colE, colF-0, colF-1, colF-2 

：列名が似ている

df.select("colA", "colB", "colE") 

が、どのように、選択して「で、colA」、「COLB」と言うと、すべてのcolF-します*列はすぐに？ Pandasのような方法がありますか？ df.columnsと列名が、その後、あなたが.filter(_.startsWith("colF"))をしたいだけの列名に絞り込む

Answer 1

まずグラブ。これにより、一連の文字列が得られます。しかし、選択にはselect(String, String*)が必要です。幸いなことにカラムを選択するのはselect(Column*)なので、最後にストリングを.map(df(_))でカラムに変換し、最後にカラムの配列を: _*のvar argに変えてください。

df.select(df.columns.filter(_.startsWith("colF")).map(df(_)) : _*).show 

このフィルタは、さらに複雑にすることができます（パンダと同じ）。他の列のリストは、あなたがまた、フィルタ配列を持つ列名の固定された配列をマージすることができ、固定されている場合は

df.select(df.columns.filter(x => (x.equals("colA") || x.startsWith("colF"))).map(df(_)) : _*).show 

：しかしそれは（IMO）ではなく醜いソリューションです。

df.select((Array("colA", "colB") ++ df.columns.filter(_.startsWith("colF"))).map(df(_)) : _*).show