赤いシフトからパーケットフォーマットにテーブルをエクスポートするにはどうすればよいですか？ S3に赤方偏移コネクタ</li> <li>UNLOADを使用して戻ってS3へのストリーミング

Question

私は

• の考えることができるオプションの

  カップルスパークは、コマンドラインツール

ない優れていることを確認してプロセスをgzipで圧縮されました。私は、赤いシフトのスキーマを寄木細工が摂取できるものに簡単に変換する方法についてはっきりしていませんが、スパークのコネクタがそれを世話してくれます。

Answer 1

は赤方偏移JDBCのjarファイルを取得し、私の例では、このような赤方偏移の接続の詳細をsparkSession.read.jdbcを使用します。

val properties = new java.util.Properties() 
properties.put("driver", "com.amazon.redshift.jdbc42.Driver") 
properties.put("url", "jdbc:redshift://redshift-host:5439/") 
properties.put("user", "<username>") properties.put("password",spark.conf.get("spark.jdbc.password", "<default_pass>")) 
val d_rs = spark.read.jdbc(properties.get("url").toString, "data_table", properties) 

マイ関連するブログポスト：http://garrens.com/blog/2017/04/09/connecting-apache-spark-to-external-data-sources/

スパーク・ストリーミングは、この場合には無関係でなければなりません。

また、databricksのspark-redshiftパッケージを使用して、一括読み込みを赤いシフトから実行し、読み込みを非常に速くすることをお勧めします。