2017-09-07 5 views
0

SQL Workbenchを使用してクラスタを作成してデータベースに接続しましたが、SQL経由でAmazon Redshiftにデータをアップロードするにはどうすればよいですか?SQL経由でAmazon Redshiftにデータをアップロードするには?

私はAmazon S3を使用しなければならないと思いますが、それをよく説明するサンプルビデオやテキストが見つかりませんでした。

+0

Redshiftにデータを入れることを意味しますか?はい、S3を使用してCOPYコマンドを実行する必要があります。利用可能ないくつかの文書。 –

+0

@JonEkiz他に方法はありませんか? – Frollo

答えて

1

アマゾン赤方偏移に情報を挿入するには、2つの方法があります。

  • COPYコマンド
  • 経由INSERT

経由で、彼らがあるので、INSERTを使用することは推奨されません大容量データに対しては効率的ではありません。テーブル間でデータをコピーするなどのETLタイプの処理は問題ありませんが、一般的にデータはCOPYでロードする必要があります。 Using a COPY Command to Load Data 1として

COPYコマンドからデータをロードすることができる:リモートからSSH経由

  • アマゾンS3(推奨、高度に平行)
  • アマゾンEMR(Hadoopの)
  • はAmazon DynamoDBの
  • ホスト

Amazon S3の負荷はすべてのノードで並列にを使用し、データをロードする最も効率的な方法です。

Amazon Redshift COPY commandいくつかのファイル形式読むことができます:

  • 区切り(例えばCSV)
  • AVRO
  • JSON-固定幅
  • そして、これらのフォーマットも圧縮することができます(たとえば、GZIPを)

ボトムライン:データをAmazon S3に互換性のあるフォーマットで取得し、COPYを使用してロードします。

また、Redshiftから完全なパフォーマンス上の利点を得るには、DISTKEYSORTKEYを理解してください。 のマニュアルを確実に読んでください - 読んでいるよりも時間が節約できます!

+0

さて、私は5GBのSQLファイルを持っています。わかっている限り、まずこのファイルをS3にドロップしてから、copyメソッドを使用してS3からデータを取得します。 – Frollo

+1

"SQLファイル"とはどういう意味ですか?ファイル内のデータの形式は何ですか?そして、はい、データをS3バケットに入れ、Redshift内の 'COPY'コマンドを実行してデータをインポートします。 Redshiftを初めてお使いの方は、[Amazon Redshift自己紹介型ラボの紹介](https://amazon.qwiklabs。com/focuses/2366)(無料です)。 –

関連する問題