Opencv Transforming Image

Question

Open Cvの新機能です.2つの画像srcとdst画像を変換したいと思います。私はcv::estimateRigidTransform()を使って変換行列を計算してから、cv::warpAffine()を使ってdstからsrcに変換します。新しい変換画像とsrc画像を比較すると、ほぼ同じ（変換済み）ですが、新しい変換画像とsrc画像のabs差分を取得すると、大きな違いがあります。私のdstイメージには回転と並進の要素も含まれています。ここに私のコード

cv::Mat transformMat = cv::estimateRigidTransform(src, dst, true); 
cv::Mat output; 
cv::Size dsize = leftImageMat.size(); //This specifies the output image size--change needed 
cv::warpAffine(src, output, transformMat, dsize); 

Srcのイメージ

先イメージ

出力画像

です

絶対差の像

おかげ

Answer 1

あなたは、プロセスに関するいくつかの誤解があります。

メソッドcv :: estimateRigidTransformは、入力として2セットの対応するポイントを取ります。そして、変換行列を見つけるために一連の方程式を解きます。変換の出力は、src点をdst点に一致させます（完全一致が不可能な場合は正確にまたは密接に - たとえば浮動小数点座標）。

2つの画像にestimateRigidTransformを適用すると、OpenCVはまず内部的な方法（opencv docsを参照）を使って一致する点のペアを見つけます。

cv :: warpAffineは与えられた変換マトリックスに従ってsrcイメージをdstに変換します。しかし、どんな（ほとんどの場合でも）変換は損失操作です。アルゴリズムは利用できないため、一部のデータを推定する必要があります。このプロセスは、未知の値を計算する既知の情報を使用して補間と呼ばれます。画像スケーリングに関する情報はwikiにあります。回転、スキュー、パースペクティブなどの他の変換にも同じ規則が適用されます...これは翻訳には当てはまりません。

あなたのテスト画像があれば、私はOpenCVがランプシェードを参考にしていると思います。その違いから、ランプシェードが最良に変形されていることは明らかです。デフォルトでは、OpenCVは線形補間を使用して最速の方法であるため、ワーピングに使用します。しかし、より良い結果を得るために、より進歩的な方法を設定することができます - opencv docsに再度ご相談ください。

結論： あなたが気づいた結果は、自動化されたプロセスの結果です。より良い結果が得られるようにするには、対応するポイントを選択する別の方法を見つける必要があります。または、より良い補間方法を使用してください。どちらの方法でも、変換後、diffは0にならないでしょう。ビットマップはピクセルの離散したグリッドなので、実際には実現できません。したがって、常にいくつかのギャップがあり、推定する必要があります。