amazon Ec2のプロトタイプ

Question

アマゾンで実際にプロトタイピング/デプロイメントを行い、コストを抑える方法は？先月、いくつかの特定のアプリケーションを試して、独自のhadoopクラスタを実行していましたが、テストのためにほぼ1.5kを費やしました。確かに - 彼らはマイクロインスタンスを持っていますが、もしあなたがアプリケーションが非常に集中しているのであれば、テストするために実際にもっと大きなインスタンスが必要でしょうか？だから私は、人々がこれをやってどうやって行くのかについてのいくつかのインプットが欲しいですか

Answer 1

いくつかの重要な問題：

1. は、与えられたテストは本当にEC2を必要とする場合、いくつかの目的のために地元のテストベッドが考える&考えてみましょう。 2-4台のマシンをHadoopのテストベッドとして使用することを本当に難しくしているのであれば、別の問題があります。 Hadoopがどのように役割を果たすのか、その上でタイヤを蹴る方法、実行しようとしていることを頭に入れてください。また、グリッドを変更したり、ソフトウェアをアップグレードしたり、他のアイデアを使用したりしたい場合もあります.EC2に行くと、すでにかなりぎこちなくなっています。
2. 物事のハングアップを取得する際に、必要以上に大容量のマシンを使用しないでください。この段階でたくさんのデータや計算サイクルを実行しない場合は、クラスター計算ノード、大量のRAMインスタンスなどを気にしないでください。正しく設定することに集中してください。
3. より強力なマシンにターゲットを変更する準備ができたら、いくつかの異なるマシン設定を試してみてください。たぶん、クラスタの計算インスタンスが成果を上げることになるでしょう。おそらく、そのようなスループットは必要ないかもしれません。ボトルネックを知るまでは、過剰な投資はしないでください。
4. テスト段階では、スポットインスタンスを頻繁に使用するようにしてください。通常、オンデマンド価格の約50％を支払います。
5. オンデマンドインスタンスに対して支払いを行う場合は、必要に応じて別のインスタンスでHadoopインスタンスを開始および停止してください。クラスタ計算インスタンスで大規模なクラスタがすべて必要な場合を除きます。
6. できるだけ早く（1分以内に）立ち上げ、必要でない場合は、夜間や週末には何も実行しないでください。

システムがセットアップされ実行されるまでは、基本的には授業料を払ってニーズに合わせたものを得る方法を学ぶことになります。一度にすべてを習得するのではなく、各レッスン（構成、ボトルネック、スケールアップなど）を学ぶために「授業料」を支払うだけです。学習する一連のレッスンとして接近すると、お金を使うのは苦痛ではありませんが、あなたが試して学ぶことが分かっている限り、より賢明にお金を使うことになります。

最後に、この学習経験の労働コストを1500ドルと比較してください。長期的には大きな問題ではないでしょう。何かが計算上の努力の合理的なブロックになることを知ったら、それはうまく設計され、（多くのマシンではあるが）素早く終了します。今は、組織の目標にはまだ効果がないので、学習していることを理解することは難しいです。

Answer 2

スポットインスタンスの使用を検討してください。あなたが過度に高額になった場合は、それが解雇されないことをほぼ確実にすることができます。長期的には、予約されたインスタンスのレベルで価格がありますが、前払いする必要はありません。非ピーク時間のテストをスケジュールしたり、より良い価格に達したり、スポットインスタンスの価格がオンデマンドのものを超えた場合オンデマンドに切り替えることもできると思います.Hadoopはそれをうまく処理する必要があります。 this article about spot instancesを確認してください。スポットインスタンスの可能性を分析する他の2つの記事も参照しています。

Answer 3

Amazon Cloudを使用した実証実験中にコスト問題に対処する。

アマゾンのAWS APIを使用して軽量のJavaアプリケーションを作成しました。このアプリケーションは、Amazonのクラウドインスタンスをテストしたいときに作成します。テストが終了するか、起動に失敗すると、アプリケーションは診断メールを送信してインスタンスを直ちに終了します。

だから、アマゾンのインスタンスは稼働していたり​​、理想的な状態ではありませんでした。手動または別のプログラムを使用して作成または終了すると発生する可能性があります。