私は次のようなPyTorchスクリプト有する二つの異なるGPUを

Question

に並列にPythonコードの部分を実行する2つの異なる方法（method1とmethod2）でスクリプトを実行するために

# Loading data 
train_loader, test_loader = someDataLoaderFunction() 

# Define the architecture 
model = ResNet18() 
model = model.cuda() 

# Get method from program argument 
method = args.method 

# Training 
train(method, model, train_loader, test_loader) 

を、それが十分で二つの異なる端末で次のコマンドを実行する：問題がある

CUDA_VISIBLE_DEVICES=0 python program.py --method method1 
CUDA_VISIBLE_DEVICES=1 python program.py --method method2 

、上記データローダ関数は、2つの方法が2つに適用されたことを意味し、その中のいくつかのランダムを含有します異なるトレーニングデータセット。私は、データの正確な同じセットを訓練するためにそれらをしたいと思いますので、以下のように、私は、スクリプトを修正：

# Loading data 
train_loader, test_loader = someDataLoaderFunction() 

# Define the architecture 
model = ResNet18() 
model = model.cuda() 

## Run for the first method 
method = 'method1' 

# Training 
train(method, model, train_loader, test_loader) 

## Run for the second method 
method = 'method2' 

# Must re-initialize the network first 
model = ResNet18() 
model = model.cuda() 

# Training 
train(method, model, train_loader, test_loader) 

それはそれぞれの方法について並列に実行させることは可能ですか？ あらかじめご協力いただきありがとうございます！

Answer 1

私は、以下のようにシードを修正するのが最も簡単な方法だと思います。

myseed=args.seed 
np.random.seed(myseed) 
torch.manual_seed(myseed) 
torch.cuda.manual_seed(myseed) 

これにより、データローダーは毎回同じサンプルを取得する必要があります。並行して、マルチスレッドを使用する方法がありますが、投稿した問題の面倒を見る価値はほとんどありません。