Spark 2.1：DataFrameWriterパーティションで複数の列を提供する方法

Question

Spark 2.1を使用して複数のパーティションでorcファイルを作成しようとしています。 a & bは私がして、パーティションにしたい二つの列です df.write.option("compression", "zlib").partitionBy("a, b").orc("s3a://bucket/")

：私のコードはそうのように見えます。

私はorg.apache.spark.sql.AnalysisException: Partition column "a, b" not found in schemaと付き合っています！

または'a', 'b'のようにいくつかの組み合わせを試しましたが、何もありません。何か案は？ありがとう！

Answer 1

私は問題を発見しました！そして投票した人には、複数のパーティションが機能するためには、関数の順序が重要であることに注意してください。最初にpartitionByが来て、他は来る。したがって、これは動作します：df.write.partitionBy("a", "b").option("compression", "zlib").orc("s3a://bucket/")！ドキュメントからは明らかではありませんが、ドキュメンテーションやWeb上のその他の回答はどこにもありません。

Answer 2

df.write.option("compression", "zlib").partitionBy("a", "b").orc("s3a://bucket/") 

おそらくこれが役立ちます。