1. ホーム
  2. 質問と答え
  3. スナップ圧縮ファイル用の赤色シフトロード

スナップ圧縮ファイル用の赤色シフトロード

2016-05-05 9 views
-2

s3位置から赤色シフトテーブルにスナップ圧縮ファイルをロードするにはどうすればよいですか？スナップ圧縮ファイルまたはORC形式をタブ区切り.csvファイルに変換する方法スナップ圧縮ファイル用の赤色シフトロード

出典

2016-05-05 pRavin

+1

この[URL]（http://stackoverflow.com/help）をご確認ください。コンテンツの品質を向上させるのに便利です –

答えて

2

Amazon Redshiftは、ネイティブにsnappyまたはORCファイルをインポートできません。

COPY commandリスト以下のサポートされるファイル形式のためのアマゾンの赤方偏移のドキュメント：

  • CSV
  • DELIMITER
  • 固定幅
  • AVRO
  • JSON
  • BZIP2
  • GZIP
  • lzopの赤方偏移にインポートする（例えばアマゾンEMRを使用して）あなたは、外部のファイル形式を変換する必要があります

前。

出典

2016-05-06 01:23:04

+0

ありがとうJohn !!圧縮ファイル（スナッピー圧縮またはORC）をRedshiftローダブルフォーマットに変換する汎用ソリューションはありますか？ – pRavin

+0

ORCとスナッピーはほとんどの場合、Hadoop環境でのみ使用されます。現在Hadoopを使用していない場合は、Amazon EMR環境を起動し、Hiveを使用してフォーマットを変換することができます。例：[.txt/.csvファイルをORC形式に変換する方法]（https://stackoverflow.com/questions/25117760/how-to-convert-txt-csv-file-to-orc-format）私は[CloudConvert]（https://cloudconvert.com/formats）を見ましたが、SnappyもORCもサポートしていません。 Snappy/ORCファイルを受け取っている場合は、おそらくHadoopによって生成されているので、ソースシステムから変換される可能性があります。 –

+0

ありがとうジョン。私は、コマンドhadoop fs -text <圧縮ファイル>を使用して、スナップ圧縮ファイルを変換しています。しかし、これはORCではなくスナッピーでしか機能しないようです。 – pRavin

関連する問題

 関連する問題