joblibのグローバル変数を初期化する前にテンソルがハングアップする

Question

私はCPU内にマルチレイヤCNNを持っていますtensorflow。

私はとdelayedの機能をjoblibに使用して、同じデータセットで訓練されたCNNの複数のインスタンスを学習しています。

私はこれを実行しようとするとjoblib労働者がそのtf.Session()を開始した後、しかし、任意のtensorflow変数が初期化される前に、と私はParallel機能のverbose引数から任意の出力を取得する前に、プログラムがハングします。

なぜこれが起こるのかわかりません。だから、tensorflowとjoblibを組み合わせた可能性がある他の人たちから一般的なデバッグ戦略を探しています。

Answer 1

オプションを Parallelから"threading"に変更することで、プログラムを動作させることができました。どうやら、"multiprocessing"というオプションは、入出力データを交換する際に、あまりにも多くの通信とメモリオーバーヘッドを作り出していました。