パッチワイズトレーニングとFCNの完全畳み込みトレーニング

Question

FCN paperでは、パッチワイズトレーニングと完全畳み込みトレーニングについて説明します。これら2つの違いは何ですか？

添付のsection 4.4を参照してください。

その後N*Nパッチ（N<M）を抽出するM*M画素を繰り返し、 は、元画像がM*Mであると想定し、以下のように訓練機構であるように思わ。繰り返しストライドは、重複するパッチを生成するためにN/3のようないくつかの番号を付けることができます。さらに、個々の画像が20個のパッチに対応すると仮定した場合、これらのパッチをパッチ（3枚の画像が必要な場合）に1個のミニバッチに入れてトレーニングすることができます。これは正しいのでしょうか？このいわゆる完全畳み込みトレーニングはパッチワイズトレーニングと同じです。

Answer 1

用語「完全畳み込みトレーニング」だけネットワーク全体がちょうど畳み込み層（およびプーリング層）を含むように畳み込み層と完全に接続された層を置き換えることを意味します。

「パッチワイズトレーニング」という用語は、フルイメージトレーニングの重複を避けるためのものです。 セマンティックセグメンテーションでは、イメージ全体を使用してイメージの各ピクセルを分類しているため、入力に多くの冗長性が追加されます。トレーニングセグメンテーションネットワーク中にこれを回避するための標準的なアプローチは、完全な画像ではなく、トレーニングセットからランダムパッチのバッチ（対象オブジェクトを取り囲む小さな画像領域）をネットワークに供給することです。この「パッチワイズサンプリング」は、入力に十分な分散があり、トレーニングデータセットの有効な表現であることを保証します（ミニバッチはトレーニングセットと同じ分布を持つ必要があります）。この手法はまた、より速く収束し、クラスのバランスを取るのに役立ちます。このホワイトペーパーでは、パッチワイズトレーニングを使用する必要はないと主張し、クラスのバランスを取る場合は、ウェイトを付けたり、サンプルを損失したりすることができます。 別の見方では、ピクセル単位のセグメンテーションでのフルイメージトレーニングの問題は、入力イメージに多くの空間的相関があることです。これを修正するには、トレーニングセットからパッチをサンプリングする（パッチワイズトレーニング）か、画像全体からロスをサンプリングすることができます。そのため、サブセクションは「Patchwise training is loss sampling」と呼ばれています。 "空間的な用語のランダムにサンプリングされた部分集合への損失を制限することによって、勾配計算からパッチを除外します。"彼らは最後の層から無作為に細胞を無視することによってこの "損失サンプリング"を試みたので、損失は画像全体にわたって計算されませんでした。