amazon-redshift

0熱

1答えて

センサーからKinesisへのメッセージを受信しています。lambdaを使用して処理し、Kinesis Firehoseを使用してRedshiftにロードします。すべてのメッセージが解析され、1つの大きなステージングテーブルに挿入されます。我々は、センサデータの集計/分析を行う必要があります。センサーデータのほかに、私たちが保管しているヘッダーには多くの情報がありますが、現在は使用していません

0熱

1答えて

Talendの例外NoClassDefFoundErrorが

私はメインのロジックが tMySQLInputであるTalendのジョブは---> tRedshiftOutputBulk ファイルをS3にロードされているが、データは赤方偏移で書かれていません。私は実際にこのエラーがどのように発生したかは分かりません。 Exception in thread "main" java.lang.NoClassDefFoundError: local_project

0熱

1答えて

AWS Redshift：varchar（7）YYYY/MMのデータをRedshiftの日付タイプに効率的に変換するにはどうすればよいですか？

残念ながら、その日に昼間のデータがない財務データがあります。 Redshiftに100GB以上のデータをアップロードしましたが、YYYY/MM varchar（y）をRedshiftのDateに変換したいと思います。私はそれを効率的にどのようにすべきですか？私の最初の考えは、Redshiftに接続し、RedshiftデータベースからEC2の別のデータベースにデータを変換するRubyスクリプトを作

2熱

1答えて

SQL Workbench/Jを使用してAmazon Redshiftで新しいユーザーを作成できません

Amazon Redshiftで新規ユーザーを作成する際に問題があります。私はGetting Started with Amazon Redshiftの説明に従い、そこに記載されている例のデータを持つクラスタを作成することができました。 SQL Workbench/Jの最新バージョン（Build 122、2017-02-04）とEC2インスタンスのドライバ（JDBC 4.2互換）を使用してクラスタ

1熱

1答えて

AWS Kinesisコネクタライブラリ

私はリアルタイムのストリーミングアプリケーションを開発しています。このアプリケーションは、AWSキネシスストリームに情報を送信し、そこからAWS Redshiftに情報を送信する必要があります。 - >ラムダ関数 - >赤方偏移キネシスストリーム - >ラムダ関数 - >キネシス消防ホースキネシスストリーム：ドキュメントの私の読書と理解に基づいて、次は赤方偏移にキネシスストリームから情報をプッ

0熱

1答えて

AWSラムダとマルチパートアップロードS3から

ラムダを使用してS3からRedshiftにファイルを移動します。データは、データプロバイダのRedshiftから直接UNLOADコマンドを使用してS3に配置されます。それは並行して走っているために、異なる時に完了することがある10の異なる部分に分かれています。 Redshiftにデータをインポートするトリガを起動する前に、すべてのデータが完全にアップロードされるまで、Lambdaトリガを待機させ

1熱

1答えて

シェルスクリプトを使用してpostgresqlに列を挿入中にエラーが発生しましたか？

以下は私のシェルスクリプトです。シェルスクリプトを使用してposrgresqlに列を挿入しようとしています。しかし、以下のエラーを取得します。スクリプト： i='dcm_account494401_click_2017050511_20170505_093843_556195422.csv.gz' load_date='2017-05-12' load_status='Fa

0熱

1答えて

Amazon Redshiftでのユーザー作成タイムスタンプ

私たちは監査を受けており、同じ目的のために私はすべての赤方偏移ユーザーのユーザー作成タイムスタンプが必要なユーザーレポートが必要です。参考リンク：How to get user creation timestamp in Amazon Redshift マイPRODクラスターは約98のユーザーを持っています。しかし、システムテーブル 'stl_userlog'（action = 'create'

0熱

1答えて

SQLサーバーからRedshiftにデータを転送する方法

私は新しいredshiftです。SQLからredshiftにデータをコピーする方法を見ています。使用するのに最適なツールは何ですか？

0熱

1答えて

redshiftテーブルからの最終更新タイムスタンプの取得

Redshiftの各テーブルへの最後の書き込みを吐き出すクエリを設定することで、データが古くなっていることを監視したいと考えています。各テーブルにはcreated_atフィールドを持っており、私はpg_table_defを経由して、すべてのテーブル名を引くことはできませんが、赤方偏移で動的SQLを設定する方法はありません（例えばSELECT max(created_at) FROM {table}