Databricksスパーク - 赤方偏移：SORTKEYSは、私はここの指示に従って、Scalaのコードからソートキーを追加しようとしています

Question

に動作していない：https://github.com/databricks/spark-redshift私はテーブルの情報をチェックしていたときので

ソートキーが間違って実施されている

df.write 
    .format(formatRS) 
    .option("url", connString) 
    .option("jdbcdriver", jdbcDriverRS) 
    .option("dbtable", table) 
    .option("tempdir", tempDirRS + table) 
    .option("usestagingtable", "true") 
    .option("diststyle", "KEY") 
    .option("distkey", "id") 
    .option("sortkeyspec", "INTERLEAVED SORTKEY (id,timestamp)") 
    .mode(mode) 
    .save() 

：

ソートキー= INTERLEAVED

私は、ソート・キーを追加するための正しい方法を必要としています。

Answer 1

実装とは間違ってはありません

、間違っては、「チェッククエリ」からで、それを返し

ソートキー=インターリーブされた間違って何かがあると信じてするのに十分な混乱である

ハプニング。

あなたは、インターリーブソートキーをチェックする必要がある場合にこのクエリを実行する必要があります

select tbl as tbl_id, stv_tbl_perm.name as table_name, 
col, interleaved_skew, last_reindex 
from svv_interleaved_columns, stv_tbl_perm 
where svv_interleaved_columns.tbl = stv_tbl_perm.id 
and interleaved_skew is not null;