TensorFlow：マルチGPUトレーニングのチェックポイントモデルを復元することは可能ですか？

Question

私は現在スーパーバイザーを使用しており、TF-slimから事前にトレーニングされたウェイトを使用して転送学習を実行するグ​​ラフを1つだけ構築しています。チェックポイントモデルを最初に複数の推論モデルに復元する方法があるのだろうか？私の主な関心事は、第1に、TFリポジトリのreference codeで定義されている名前スコープが、名前の不一致のために事前に訓練された変数を復元できなくなる可能性があることです。また、init_fnのスーパーバイザを使用して変数を復元する唯一のセーバを使用する必要がある場合、同じ変数を複数のGPUに復元するにはどのように複数のセーバを持つことができますか（複数のセーバを持つ必要がある場合でも） 。

私が持っている考えの1つは、変数を1つのグラフに復元し、他のGPUで同じグラフをトレーニングに使うことができるということです。しかし、次のGPUのトレーニングは、最初のGPUが完了した後に行われますか？しかし、この方法では、チェックポイント重みの名前を編集しない限り、オリジナルのチェックポイントモデルの変数名に従って重みを復元することはできません。

Answer 1

tensorflow documentation on saving and restoring variablesは、保存された変数をどのモデル変数として復元するかを指定できるように、passing a dictionary from saved name to variable object when constructing the saverによってSAVERオブジェクトを指定します。