密な視差マップをステレオ画像からどのように計算できますか？

Question

密な視差マップをステレオ画像からどのように計算できますか？

これまでの考えでは、最初の画像からすべてのピクセルを調べ、2番目の画像で一致するものをスキャンしました。 2つのピクセルの類似性を比較するために、それらの周りの小さなウィンドウでピクセルの二乗差を計算しました。 アルゴリズムは合成画像では比較的うまく機能しますが、反射を含む画像や光強度の差が大きい画像ではうまく機能しません。よりよい結果を得るためにはどのようなアプローチをとるべきですか？

画像処理のマスターは、あなたに知識を教えてください。

Answer 1

これは濃密な視差マップを計算する方法で書かれています。リンクをたどった場合は、その方法について詳しく説明したPDFを入手できます。残念ながら、私の画像処理経験は立体視を含まないので、提示されるアルゴリズムの質についてはコメントできません。

http://serdis.dis.ulpgc.es/~lalvarez/research/demos/StereoFlow/

私はこの主題上の任意のさらなる材料のための私の文章をチェックします。

編集： 私が持っている本と、Linda G. ShapiroとGeorge C. Stockmanの「Computer Vision」は、カメラと画像の向きがわかっているときに立体視の裏にある〜10ページの説明があります。ステレオ画像間の共通の特徴を見いだすために相関についてのセクションにかけられるが、視差マッピングについては何もない。

Answer 2

格差を計算するための一般的で効果的な方法は、グラフカットです。本質的に、グラフは2つの画像から作成され、画像の深度不連続から生じるエネルギーを最小限に抑えるようにカットされます。コーネル大学のラミンZabihはトピックに関する多くの論文があります。

http://www.cs.cornell.edu/~rdz/graphcuts.html

私は概要として、「グラフカットを経由して高速近似エネルギー最小化」を示唆しています。

Answer 3

オットーチャウステレオマッチングアルゴリズムは非常に有効であると一致した画像上に成長領域と一緒に、サブピクセル精度の適応最小二乗パッチのマッチングを組み合わせ：

オットー、GP、チャウ、TKW、1989 '地形画像のマッチングのための領域拡大アルゴリズムImage Vision Computing、7（2）、pp.83-94。

これは領域ベースのアプローチなので、画像の妥当な量のテクスチャにある程度依存しています。非常に疎な画像データがある場合は、フィーチャベースのアプローチがよりうまくいくかもしれません。おそらく、適応LSマッチングによって精度が向上します。相関手法は実装が容易であり、高速である可能性があるが、画像間のアフィンワーピングを考慮していないため、ニュートンラフソン方式を使用するALS手法ほど堅牢ではない場合が多く、ワーピングやラジオメトリックパラメータを使用して、イメージからイメージまで本当に良いフィット感を得ることができます。