テンソルフロー勾配の決定の決定性？

Question

私はTensorflowで書かれた非常に単純なNNスクリプトを持っていますが、いくつかの「ランダム性」がどこから来ているのかを調べるのは苦労しています。

私が訓練し、そして最初の反復のために、すべてが始まることは明らかであるように私は

• ウェイト、
• グラデーション、
• Logits私のネットワークの

を記録しています同じものを外す。私は、データの読み込み方法とネットの重みを初期化するためのSEED値の両方のSEED値を持っています。私は決して変化しません。

私の問題は、すべての再実行の2回目の繰り返しで、私はの勾配が発散する（少しずつ、例えば1e-6程度のように）見えることです。しかし、時間が経つと、これはもちろん反復不可能な振る舞いにつながります。

これは何故ですか？私は、中にシングルスレッドで、あなたはCPU（export CUDA_VISIBLE_DEVICES=）にネットワークを実行する場合は、確定的な結果を得ることができる良いチャンスがあります...ランダムのいずれかの可能なソースから来るかもしれない場所を知る

おかげ

Answer 1

いけません固有のスレッドプール（tf.Session(config=tf.ConfigProto(intra_op_parallelism_threads=1)）、1つのPythonスレッド（のようなopsから得られるマルチスレッドキューランナーはありません）、1つの明確な操作命令また、inter_op_parallelism_threads=1を使用すると、いくつかのシナリオで役立つ場合があります。

浮動小数点の加算/乗算は非連想であるため、決定論的な結果を得るには、整数算術または量子化された値を使用することが愚かな方法です。

これを除いて、どの操作が非決定的であるかを特定して、その操作を使用しないようにすることができます。たとえば、tf.add_n opがあります。これは値を合計する順序については何も言いませんが、異なる注文によって異なる結果が生成されます。

決定論的な結果を得ることは、決定論がパフォーマンスと矛盾し、パフォーマンスが通常より重要視されるため、ややこしい戦いです。アルゴリズムが安定していれば、正確なパラメータ値がわずかに異なるかもしれないが、再現性のある結果（つまり、誤った分類数）を返すだろう