KerasノートブックGPUタイムアウト

Question

jupyterノートブックでGTX 980 gpuを使用してWindows 10マシンでテンソルフローでケラスを実行しようとしています。私がgpuで単独でテンソルフローを実行すると、問題なく完全に動作します。しかし、多数のエポックのためのケラスインタフェースで問題が発生します。

kerasモデルは、GPUを使用し、エポックの私の電話番号が続いて、次の

with tf.device('/gpu:0'): 
    model.compile('adam', 'categorical_crossentropy', ['accuracy']) 
    history = model.fit(X_normalized,y_one_hot,batch_size=128,nb_epoch=2,validation_split=0.2) 

ように低い場合に出力を与える7842個のサンプルに検証し、31367個のサンプルの出力

列車です エポック1/2 31367/31367 [==============] - 3秒 - 損失：1.7640 - acc： 0.5438 - val_loss：1.2872 - val_acc：0.6486 - ETA：0s - 損失：1.8827 - acc：0.5145 - ETA：0s - 損失：1.7732 - acc：0.5416

エポック2/2 31367/31367 [=============] - 2秒 - 損失：0.8539 - ACC：0.7765 - val_loss：0.7958 - val_acc：エポックの数が多い場合は0.7615

、それは次のエラーでタイムアウトすると、Webページは119999ミリ秒後に忙しい

のWebSocket pingタイムアウトを言います。

このエラーを修正するにはどうすればよいですか？

Answer 1

この問題は、WindowsのTDR（Timeout Detection and Recovery）に関連していると思います。 基本的に、OSはGPUがハングアップしたと考え、これ以上応答しないので、OSはグラフィックカードを再起動します。 TDRを無効にしたり、TdRDelayの上限を延長したりすることができます。詳細はhttps://docs.microsoft.com/en-us/windows-hardware/drivers/display/tdr-registry-keysを参照してください。