SnowFlake S3データファイルをAWS S3にエクスポートする方法は？

Question

Snowflake S3のデータは.txt.bz2です。このSnowFlake S3にあるデータファイルをAWS S3にエクスポートする必要があります。エクスポートされた結果は、ソースの場所と同じ形式でなければなりません。

---

COPY INTO @mystage/folder from (select $1||'|'||$2||'|'|| $3||'|'|| $4||'|'|| $5||'|'||$6||'|'|| $7||'|'|| $8||'|'|| $9||'|'|| $10||'|'|| $11||'|'|| $12||'|'|| $13||'|'|| $14||'|'||$15||'|'|| $16||'|'|| $17||'|'||$18||'|'||$19||'|'|| $20||'|'|| $21||'|'|| $22||'|'|| $23||'|'|| $24||'|'|| $25||'|'||26||'|'|| $27||'|'|| $28||'|'|| $29||'|'|| $30||'|'|| $31||'|'|| $32||'|'|| $33||'|'|| $34||'|'|| $35||'|'|| $36||'|'|| $37||'|'|| $38||'|'|| $39||'|'|| $40||'|'|| $41||'|'|| $42||'|'|| $43 from @databasename) CREDENTIALS = (AWS_KEY_ID = '*****' AWS_SECRET_KEY = '*****') file_format=(TYPE='CSV' COMPRESSION='BZ2'); PATTERN='*/*.txt.bz2

---

Answer 1

今スノーフレークは、BZ2にファイルへのエクスポートデータをサポートしていません。

私は、COMPRESSION = 'gzip'を設定することをお勧めします。データをgzipのS3にエクスポートすることができます。

bz2でのファイルのエクスポートが優先される場合は、Snowflakeサポートにお問い合わせください。

スノーフレークステージから自分のS3にbz2ファイルをアンロードする場合は、次のようにします。

COPY INTO @myS3stage/folder from 
    (select $1||'|'||$2||'|'|| $3||'|'|| $4||'|'|| $5||'|'||$6||'|'|| $7||'|'|| $8||'|'|| $9||'|'|| $10||'|'|| $11||'|'|| $12||'|'|| $13||'|'|| $14||'|'||$15||'|'|| $16||'|'|| $17||'|'||$18||'|'||$19||'|'|| $20||'|'|| $21||'|'|| $22||'|'|| $23||'|'|| $24||'|'|| $25||'|'||26||'|'|| $27||'|'|| $28||'|'|| $29||'|'|| $30||'|'|| $31||'|'|| $32||'|'|| $33||'|'|| $34||'|'|| $35||'|'|| $36||'|'|| $37||'|'|| $38||'|'|| $39||'|'|| $40||'|'|| $41||'|'|| $42||'|'|| $43 
    from @snowflakeStage(PATTERN => '*/*.txt.bz2')) 
CREDENTIALS = (AWS_KEY_ID = '*****' AWS_SECRET_KEY = '*****') 
file_format=(TYPE='CSV');