2017-08-28 3 views
0

は私が赤方偏移ワークロードの経営管理論:メモリ

  • 50%のETL

  • 30%タブローRPTS

  • 20%のアドホッククエリを処理するために、セットアップ赤方偏移ワークロード管理したいです。

私のETLは夜間のみ実行されるため、割り当てられていないメモリはどうなるのでしょうか?

私のETLキューは、そのキューがアイドル状態になっている昼間に割り当てられますが、50%のメモリはどうなりますか?

は、私は赤方偏移のマニュアルを読み、それだけで任意の未割り当てメモリはアマゾン赤方偏移

によって管理され、記述的ではありません

言います。

答えて

1

ワークロード管理(WLM)は、キュー間で使用可能なメモリーを分割する方法です。

ETLキューに50%を割り当て、ETLジョブを実行していない場合は、その期間にクラスタのメモリーの50%を無駄にしてしまいます。

ワークロードに基づいて別のキューを作成する方がよい場合があります。たとえば、次のように

  • 大きなクエリ

アマゾン赤方偏移の方法を考え出すで「賢く」なっている(例えば、リアルタイムのダッシュボード上で使用される)小型、迅速なクエリのための1つのキュー

  • 別のキュークエリーに優先順位を付けることができますが、WLMを慎重に使用することでそれを微調整することができます。

  • +0

    ありがとうございます!デフォルト・キューを使用しないようにETLプロセスを設定したい。そのキューに割り当てるメモリの量を決める良い方法は何ですか? – user1801395

    +0

    キューの数と割り当てるメモリの量を知る唯一の方法は、さまざまな設定を試し、結果を測定して調整を続けることです。あなたは、システムが速く走っていると感じるようにしたいと思っています。大規模なジョブは、特定のクエリの 'wlm_query_slot_count'設定を介して[複数のスロットを要求する]こともできます(http://docs.aws.amazon.com/redshift/latest/dg/r_wlm_query_slot_count.html)。 –