挿入されたdfパーティションのパーティションリストを取得する

Question

テーブルに挿入されたパーティションのファイルリストまたはパーティション名を取得する方法はありますか？

df.write.format("parquet").partitionBy('id,name').insertInto(...) 

私はリストを取得したい、次のコマンドの例： 1、JHON 2、ジェイク 3、デイン

Thxをを！

Answer 1

すでにテーブルに存在していたものと新しく追加されたものはありません。もちろん

あなたはこれを得るためにあなたのデータフレームを照会することができます

val partitionList = df.select($"id,name").distinct.map(_.getString(0)).collect