foreachバックエンドとして使用するためにAmazon EC2クラスターをスピンアップする最も簡単な方法

Question

Rのforeachパッケージのバックエンドを使用するためにamazon EC2マシンのクラスターを開始したいと思うのは理想的です。ローカルマシンのRで、関連するデータとコマンドをローカルRセッションからリモートクラスタに送信します。

私はAWSパッケージがこの作業に役立つことは知っていますが、コマンドを実行した後の対処方法はわかりません。 Segueもそこに道を譲りますが、foreachのバックエンドではなく、カスタムAMIをサポートしていないようで、現在はウィンドウをサポートしていません。 deathstarパッケージもありますが、詳細は解説していません。

他に誰かがこの問題の解決策を思い付いていますか？

Answer 1

ザック、簡単な答えはここからそこまでの単純なパスが存在しないということです:)

私はセグエを書いたとき、私は誰かがすぐにセグエが時代遅れになるだろう何かで出てくることを期待しました。 Cloudnumbersそれはある日かもしれないが、おそらくまだない。私はSegueをforeachバックエンドにすることに夢中になっていますが、それを使用しないので、バックエンドを構築する方法を学ぶ時間がかかりませんでした。

私の意見では、非常に有望なことの1つは、doRedis()パッケージをAmazon EC2のワーカーと使用していることです。 doRedisは、ジョブコントローラとしてRedisサーバーを使用し、その後、ワーカーがRedisサーバーに接続し、ジョブと結果を取得/返すようにします。私はしばらくの間、EC2上にdoRedisクラスタをデプロイするための単純な方法があればいいと思っていました。しかし、誰もまだ私が知っているものは書いていません。

Answer 2

bioconductrには、MPIクラスタをスピンアップするためのslick toolがあります。開始後は、マスターノードでmpi.spawn.Rslaves()とmpi.parLapplyを実行して、計算をクラスタに出力することができます。しかし、私はそれをdoMPIと動作させる方法を理解できません。