Google App Engineのインスタンス待ち時間

Question

無料のアプリケーションを実行していて、GAEのPythonランタイムを使用して1つの最大アイドルインスタンスを使用しています。 http://code.google.com/appengine/docs/adminconsole/instances.htmlによると

、

アプリケーションの待ち時間は、あなたのトラフィックを提供するために必要な インスタンスの数に最も大きな影響を与えます。 のリクエストを迅速に処理すると、1つのインスタンスで多数のリクエストを処理できます。

これは、「アプリケーション設定」のスライダを最小のレイテンシに調整することが最適であると考えられます。

しかし、

、http://code.google.com/appengine/docs/adminconsole/performancesettings.html#Setting_the_Minimum_Pending_Latencyによると、それは長い待ち時間が新しいインスタンスをスピンアップから負荷スパイクを防止するために良いです持つように思えます。

基本的に、要求スパイク（高レイテンシ）に対応する能力と所定の期間（低レイテンシ）にわたって処理される要求数との間にトレードオフがありますか？

Answer 1

「保留中の待ち時間」は、App Engineが別のインスタンスを起動する前にキューに待機する時間を示します。要求が到着したときにすべてのアプリケーションインスタンスがビジー状態になっている場合、その要求はキュー内で次の利用可能なインスタンスによって処理されるまで待機します。最小値を超えている場合、App Engineはリクエストを処理するために新しいインスタンスを起動することに決めます。

新しいインスタンスの起動には時間がかかり、コストがかかるため、最小の待機時間を設定することができます。最小保留待ち時間が長いということは、新しいインスタンスを開始する前にApp Engineが保留中のリクエストをより長く保持（待機させる）し、インスタンスコストを優先してより多くのトラフィックを処理できることを意味します。最小遅延待ち時間が小さいということは、トラフィックが増加するにつれてApp Engineが新しいインスタンスをより頻繁に開始することを意味します。

「待ち時間」という用語は、アプリが要求に応答するのにかかる時間を指します。アプリケーションが要求に迅速に応答できるほど、単一のインスタンスで処理できる要求が増え、通常は要求キューが短くなります。待ち時間は常に短くて済みますが、アプリではすばやく行う必要があります。