OpenCVのテンプレートマッチングと透過性

：

2つのオプションがあります簡単ですが、私はここで2番目のオプションを探求します。 a similar questionより前に私が提供したサンプルコードを再利用するつもりです。画像に相互相関を直接適用すると、背景がテンプレートマッチング（特に明るい背景部分）に干渉します。カラーチャンネルで遊ぶと、青いチャンネルでのマッチングが正しい結果をもたらすことがわかります。これは画像の内容に依存し、問題を解決する一貫した方法ではありません。

もう1つの方法は、画像とテンプレートでエッジ検出（例：Sobel）を実行して相互相関を実行することです。ここでは、エッジで検出された画像があります（GIMPのLumaチャンネルでSobelエッジ検出器を使用してから、強度ストレッチを行います）。

あなたが見ることができるように地形のほとんどがゼロ強度となっていると、相互相関計算に寄与しないよう、ここではアルファチャネルは、無関係となっています。だから今の相互相関は、直接、望ましい結果を与える、適用することができます。
```
[email protected]:~/Desktop/stackoverflow$ python cross-correlation.py map-blue.png building-maskz-blue.png 
(163, 244) 
```
を最後に、ここでanother related questionです。

PS。これはどんなゲームですか？

出典

2011-01-25 12:08:48 misha

ありがとうございましたが、グレースケール画像とテンプレートでSobelを使用して同じ結果を得られませんでした（質問を参照）。イメージは古いDOSのゲーム - 地球2140です。 – mnn

あなたのイメージがうまくいかなかった理由は、エッジがないエリアは**ブラックではありません**（127ニュートラルグレーです）。それらを私の画像と比較する。エッジ以外の領域は**ゼロ**にする必要があるため、相互相関の計算に干渉しません。 – misha

OK、非エッジ領域をゼロにするには、cvConvertAbsScaleを使用しました。（質問を参照）しかし、まだ私のSobelはあなたと同じではありません（特にテンプレート）。私はOpenCVを使用していて、GIMPを使ってSobelを使用していたのでしょうか？ – mnn

私はあなたがOpenCVで何をしようとしているのは、マスクとのテンプレートマッチングです。テンプレート上でROI（関心領域）を設定しようとするといいでしょう。 This SO question shows how to do it。（その質問ではROIはテンプレートではなくターゲットイメージに設定されていますが、手順は同じです）。

出典

2011-01-23 17:18:28 carlosdc

興味深いですが、私はそのような地域に検索を絞り込むことができないので、本当に助けにはなりません – mnn

右ですが、テンプレートそのものには透過的な（つまり、テンプレートのROI内にあるべきではない）ピクセルと透過的でない（つまり、テンプレートのROIにある）ピクセルがあります。 @Utkarsh Shinhaが言っているように、ROIにないピクセルを無視する独自のテンプレートマッチング関数を書かなければならないということが、最悪の事態です。 – carlosdc

サンプル画像を見てください。透明領域はどのような形でも長方形ではありませんROIは長方形です – mnn

わかりませんが、透明チャンネルは他のチャンネルと同様に扱われます。テンプレート内のピクセルが「透明」である場合、それは主画像上でも「透明」でなければならない。私はちょうどここで推測しています。

出典

2011-01-24 13:39:59

それは問題です。私はテンプレートと一致する必要があります_ignore_ピクセルのtranspaテンプレート画像のレンシ。さもなければ、私はオリジナルの画像でテンプレートを見つけることができません。なぜなら元の画像では、私が探しているオブジェクトの周りに何かがあるからです。 – mnn

両方で透明度チャンネルを取り除きます。それはうまくいくかもしれない。または、独自のテンプレートマッチング機能を記述することもできます。 OpenCVのドキュメントには、さまざまな方法で使用される数式が記載されています。ピクセルで透明度を「尊重」するように、それらを変更することができます。 –

Utkarash、あなたは正しいです：あなたはただの推測です。しかし、現実の世界は、あなたが推測するよりはるかに複雑です。与えられた公式を使用してピクセルごとにテンプレートと画像を比較する独自のマッチング関数を書くと、スピードに最適化されたC++であっても、これは遅い（1分まで実行する）ことはできません。 OpenCVが非常に高速である理由は、matchTemplate（）でDFT（フーリエ変換）を使用するためです。しかし、このコードは数学者だけが理解するほど非常に複雑であり（コメントはありません）自分のmatchTemplate（）関数を書くのを忘れてください！ – Elmue

アルファチャンネルを黒のRGBカラーに置き換えようとすると、SQDIFF/SQDIFF_Nオプションが解決されます。少なくともこれは同じ問題に対する私の解決策でした。私の結果から、この方法はより明るいピクセル値に敏感であることは明らかであり、私はその機会をとった。

出典

2012-09-20 13:46:44 Marstep

-1

私は同じ問題を抱えていました。私は解決策を考えました。 ReferenceImageMaskとtemplateMaskに良いピクセルは1、悪いピクセルは0になっています。そのreferenceImageとtemplateImageはすでにマスクされており、不良ピクセルにも0が含まれています。

次に、テンプレートマッチングの最初の結果は、画像間の正規化されていない相互相関を示します。しかし、ピクセルの束はゼロでした。

2番目のテンプレートマッチングでは、両方の画像でゼロ（マスクされていない）とは異なる時点のピクセル数が、それぞれのオフセットに対して与えられます。

次に、その数値による相関を正規化すると、あなたと私が求めていた値が得られるはずです。両方の画像でマスクされていないピクセルの平均積。

Image<Gray, float> imCorr = referenceImage.MatchTemplate(templateImage,  Emgu.CV.CvEnum.TM_TYPE.CV_TM_CCORR); 
Image<Gray, float> imCorrMask = referenceImageMask.MatchTemplate(templateMask, Emgu.CV.CvEnum.TM_TYPE.CV_TM_CCORR); 
_imCorr = _imCorr.Mul(_imCorrMask.Pow(-1));

更新：実際には、この解決策は機能しません。 opencvでの相互相関の実装ではDFTが使用されるため、数値的な問題があり、最初のものを修正するために2番目の相互相関を使用することはできません。

出典

2013-10-08 02:48:23

ありがとうございました。しかし、私はこれ以上作業していません。うまくいけば、これは他の人にも役立つでしょう。 – mnn

私はこの問題に対して、実際にはうまくいくように思われます。テンプレート画像のアルファチャンネルをノイズに置き換えます。ノイズによって、マッチング処理中に透明領域が統計的に重要ではありません。

たとえば、私の使用例では、iOSの画面キャプチャで絵文字を検索していました。コンテキストに応じてiOSのキーボードの背景が色を変えるため、テンプレート画像の特定の背景色に合わせると、マッチング処理に問題が発生します。ここ

アルファに生テンプレート画像です：
raw template image on alpha

ここでノイズはアルファチャンネルのために充填で処理テンプレートの：
enter image description here

私が提供Template Matching sample code介して処理テンプレート画像を送信しましたOpenCVのドキュメント暗い背景または明るい背景のいずれにおいても、合致は妥当な確信をもって見出される。透明テンプレートのアルファチャンネルを残して、比較で

matched on light

- または暗いまたは明るい背景にコミットする：光背景に検索

matched on dark

：

暗い背景上の検索 - 受け入れ可能なマッチを返しませんでした。

出典

2013-12-09 00:31:09 kitschpatrol

あなたの解決策はうまく機能しない回避策です。通常、matchTemplate（）は、画像が同一であれば確実に99％または100％の一致を返しますが、サンプル画像を含むソリューションは、一致する画像に対して23％の確度を返します。次の一致しない画像（スマイリーの1つ）は11％です。これは、マッチング（23％）と非マッチング（11％）の間の非常に悪い距離です。そして、スマイリーはあなたのテンプレートイメージよりも完全に別のものです。この回避策は、一致と不一致の区別に使用するしきい値に強く依存します。あなたの解決策は非常に弱い結果をもたらします – Elmue

よりよい回避策は次のようになります：最初のステップであなたのメソッド（ノイズの付いたテンプレート）を使用してmatchTemplate（）との一致の可能な場所を探し、次に2番目のステップで透明部分を黒にマスクします最初のステップで見つかった場所のテンプレートとメイン画像の両方で、実際の確信度（最大100％）を取得します。 – Elmue

絵文字の周りの無駄なノイズを取り除くと、より確実な結果が得られます。あなたはノイズの上下16ピクセルと各サイドに5ピクセルを持っています。それらを除去した後、確実性は23％から57％に増加する。より多くの騒音が認識を悪化させる！ – Elmue

OpenCV 3.0は、マスクされたテンプレートとのテンプレートマッチングをネイティブサポートしています。 new documentationを参照してください：

パラメータ：

画像...

TEMPL ...

結果...

方法...

mask検索されたテンプレートのマスク。それは、templと同じデータ型とサイズを持たなければなりません。デフォルトでは設定されていません。マスクされた参照画像（拡大画像）とのマッチングテンプレート

[若干余談]

注しかし不可能です。 OpenCVはFFTベースのテンプレートマッチングを使用しているので、それは理にかなっています。

したがって、参照画像の特定の領域でのみテンプレートマッチングを実行する必要がある場合は、独自のメソッドを実装するか、cv :: matchTemplateの出力をマスクする必要があります。

これをゼロから実装すると、非常に特定の地域（つまり、ハリスコーナー周辺）でのみテンプレートを検索したい場合があります。

出典

2015-07-22 15:32:27

ありがとうございます！他のすべての答えは、それを使用する適切な方法を検索するときには数学のバーフです。 – Zoey

OpenCVのテンプレートマッチングと透過性

答えて

関連する問題