私はいくつかのEC2インスタンスをstarclusterで起動し、各ノードで同じパイプラインを実行しました。starcluster/SGEの起動EC2(ノード/ RAM管理の問題)
- qsubを使用してノードを指定せずにジョブを送信しました。なぜstarcluster/SGEは、空のノードの代わりに既に占有されているノードにジョブを割り当てるのですか?
- これらのノードはスレッドとRAMを互いに借用できますか?
誰かがこれについていくつかアイデアを共有できますか?
私はいくつかのEC2インスタンスをstarclusterで起動し、各ノードで同じパイプラインを実行しました。starcluster/SGEの起動EC2(ノード/ RAM管理の問題)
誰かがこれについていくつかアイデアを共有できますか?
は私がstarcluster
に慣れていないんだけど、私はそれがマウイスケジューラに似たノードの割り当てポリシーを持っていると仮定します。
http://docs.adaptivecomputing.com/maui/5.2nodeallocation.php#MINRESOURCE
:http://docs.adaptivecomputing.com/maui/5.2nodeallocation.php
具体的には、MINRESOURCEポリシーを参照してください
5.2.2.5 MINRESOURCE
このアルゴリズムは、各ノード上で設定されたリソース に従ってノードを優先順位付けします。 が依然としてジョブのリソース制約を満たす構成済みリソースが最も少ないノードが選択されます。
これは少なくとも私が行ったインストールでは、マウイのデフォルトです。これは、あなたが記述した方法でジョブをサブミットします。
starcluster
は同様に動作していると仮定します。