分布テンソルのロジスティック回帰におけるコンバージェンス

Question

分散テンソルのロジスティック回帰を開発しようとしています。反復の上限から離れて、私のアルゴリズムでコンバージェンスチェックを統合したいと思います。私が使用しようとしているコンバージェンス基準は、

|| prevW - currW || < E

ここで、prevWはモデル加重の以前の値であり、現在の値はcurrWです。 Eは収束公差である。

私の質問は以前のモデルの重量です。私はグラフのレプリケーションと非同期トレーニングの間に使用しているので、クラスタの作業者がいつウェイトを更新するのか分かりません。従業員がバッチを使用して新しいウェイトを計算し、アルゴリズムが収束したかどうかを確認したいとします。ローカルレプリカで利用可能な重みを使用します（対応するテンソルを使用してください）、または現在の計算を続行する前にテンソルを評価して最後の更新値を取得しますか？私は上記のようにしようとしましたが、アルゴリズムは収束せず、反復の上限に達した後に停止しました。

は、あなたの助けのために事前にありがとう：D

Answer 1

私は変数は、同じデバイスで収束チェックを行うだろう。こうすることで、ネットワーク上でたくさんのものをコピーすることを避けることができます。これはwith tf.device(variable.device):ブロックに入れることで可能です。