spark 2.0.0 jdbcを使用してRedshiftテーブルから切り捨て

Question

こんにちは、RedshiftでSpark SQL（2.0.0）を使用してテーブルを切り捨てたいところです。私はこれを使用していますspark-redshiftパッケージ&私はどのように私のテーブルを切り捨てることができるか知りたいです。

Answer 1

saveを呼び出す前に、modeをライブラリに指定する必要があります。例：

my_dataframe.write 
    .format("com.databricks.spark.redshift") 
    .option("url", "jdbc:redshift://my_cluster.qwertyuiop.eu-west-1.redshift.amazonaws.com:5439/my_database?user=my_user&password=my_password") 
    .option("dbtable", "my_table") 
    .option("tempdir", "s3://my-bucket") 
    .option("diststyle", "KEY") 
    .option("distkey", "dist_key") 
    .option("sortkeyspec", "COMPOUND SORTKEY(key_1, key_2)") 
    .option("extracopyoptions", "TRUNCATECOLUMNS COMPUPDATE OFF STATUPDATE OFF") 
    .mode("overwrite") // "append"/"error" 
    .save()