Image Cropping - Region of Interestクエリ

Question

私は、誰かの話のビデオを持っています。私は唇認識システムを構築していますので、イメージの特定の領域（下顎と唇）でいくつかの画像処理を行う必要があります。

私は200以上の動画を持ち、それぞれに文章が含まれています。自然な会話であるため、頭は常に動いて唇は固定されていません。すべてのビデオを見て、唇がROI内で切り取られていることを確認するために私のボックスがどのくらい大きくなっているかをマークすることは非常に面倒なので、画像に関心領域を指定するのは難しいです。

おそらくMATLABを使ってこれをチェックする簡単な方法があるのだろうかと思っていましたか？私はフレームごとにビデオを切り抜き、各フレームの画像を出力できると思っていました。そして、物理的に画像を通って、唇がフレームから外れているかどうかを確認します。

Answer 1

ビデオに関するクラスディスカッションに参加している生徒の頭部や四肢を追跡するのと同様の問題を解決しなければなりませんでした。私たちは、Thomas Broxの最新のオプティカルフロートラッキングを使って実験しました（link、大変位オプティカルフローの部分を参照してください）。私たちのケースでは、約20テラバイトのビデオが処理されていました。オプティカルフローコードのC++およびGPU実装を使用する。私はあなたもMatlabがビデオ分析を行うには非常に遅いことを発見すると思います。

オプティカルフローは、詳細な動きベクトルを返します。次に、ビデオの最初のフレームの口と顎の元の境界ボックスにマークを付けるだけで、それらのピクセルのオプティカルフローによって与えられたトラックをたどることができます。これは、通常、バウンディングボックスの良好なシーケンスを提供します。あなたはおそらく、あなたがきれいにしなければならないエラーがあります。あなたはすぐにエラーをチェックするための境界ボックスのシーケンスを再生するPythonスクリプトを書くことができます。

私が書いたコードはPythonであり、あなたのデータ設定や問題に適応するのはおそらく簡単ではありませんが、アフィン変換に基づいたオプティカルフロートラッキングコードlinked hereが見つかりました「高密度オプティカルフローを使用したオブジェクトトラッカー」

簡単な答えは、これはビジョン研究者にとって非常に困難で厄介な問題であるということです。ほとんどの人はビデオをフレームごとにMechanical Turkに配置し、人間の労働者には分析する1フレームあたり約2セントを支払うことでそれを「解決」します。これはあなたにかなり良い結果をもたらします（Mechanical Turkerから収集した後でもそれらをきれいにする必要があります）が、トンのビデオを持っているときにはあまり役に立ちません。機械でランダムに分析されるのを待つことはできませんターク。

関心領域注釈に対する解決策はありません。これを自動的に行ったサードパーティ製のソフトウェアには、おそらくかなりの費用をかけなければならないでしょう。私の最高の推測は、face.comがあなたに請求するものとそれがどれほどうまくいくかをチェックすることです。あなたやあなたのデータセットとの間には、これまた機械的なTurkのための研究者秘密保持契約に違反しないように注意してください。