AMIと共通ファイルを使用したAmazon EC2スポットインスタンスフリート

Question

ディープ学習のトレーニングタスクを実行するためにカスタムAMI（ドッカー？）を使用して複数のAmazon EC2スポットインスタンス（フリート？）を起動したいと思います。モデルをトレーニングする目的で、すべてのインスタンスが共通のファイルセットを共有したいと思います。

ここで考えているのは、価格制限/需要のためにスポットインスタンスがAWSによって終了されたときにトレーニング履歴を失い、EBS（ネットワークドライブ？）にバックアップを保存しないということです。タスク状態はファイル内で更新され、インスタンスが利用可能になると再開されます。

すべてのインスタンスを起動し、協力して訓練タスクを完了することは可能ですか？どのようなセットアップがこれを達成できるでしょうか？

Answer 1

まず、人気のディープラーニングツールで完全に構成されているAWS MarketplaceのDeep Learning AMIに興味があるかもしれません。

（Amazon S3ではなく）ローカルファイルシステムにデータを保存する場合は、Deep Learning AMIを使用して複数のAmazon EC2インスタンス（Spotインスタンスを含む）間でファイルシステムを共有できます。 Amazon EFSはNASに似ており、複数のインスタンスにわたって同時に使用できます。

EFSボリュームは、User Data scriptを介して、目的のアプリケーションをロードして実行するためのセットアップスクリプト（これは新しいAMIを作成するよりも簡単です）を使用してマウントできます。