Farnebackオプティカルフロー - 見えない画素、不適切なフロー結果のピクセル、異なるサイズの画像を扱う。

Question

私は自分の論文を書いており、を作成するために画像間にを挿入することが課題の一部です。作業はopenCV 2.4.13を使用してC++で行う必要があります。 私が今までに見つけた最良の解決策は、オプティカルフローの計算と再マッピングです。しかし、この解決策は、私は自分自身で解決することができません二つの問題があります。

• ありビュー（例えば画像の下部）のうち、を行くべきピクセルがありますが、そうではありません。
• いくつかのピクセルがより良い流れ&リマップアプローチをした何（ソファの右上部）歪んだ結果を作成し、

を移動しない：強度を等化

• 。これは許されている。ソファの形（再マップされたイメージの中心とオリジナル）を比較することで結果を確認できます。
• イメージのサイズを縮小します。私は同じサイズの出力が必要なので、これは許されません。 オプティカルフローを再スケーリングする方法がありますか？大きなリマッピングイメージを得るには？

他のアプローチが試みたとはを失敗しました：

• CUDA :: interpolateFrames。信じられないゴーストを作り出します。
• イメージをcv :: addWeightedとブレンドします。さらに悪いゴースト。

以下は現在使用しているコードです。そして画像：dropbox link with input and result images

INTメイン（）{

cv::Mat second, second_gray, cutout, cutout_gray, flow_n; 
second = cv::imread("/home/zuze/Desktop/forstack/second_L.jpg", 1); 
cutout = cv::imread("/home/zuze/Desktop/forstack/cutout_L.png", 1); 
cvtColor(second, second_gray, CV_BGR2GRAY); 
cvtColor(cutout, cutout_gray, CV_RGB2GRAY); 

///----------COMPUTE OPTICAL FLOW AND REMAP -----------/// 
cv::calcOpticalFlowFarneback(second_gray, cutout_gray, flow_n, 0.5, 3, 15, 3, 5, 1.2, 0); 
cv::Mat remap_n; //looks like it's drunk. 
createNewFrame(remap_n, flow_n, 1, second, cutout); 
cv::Mat cflow_n; 
cflow_n = cutout_gray; 
cvtColor(cflow_n, cflow_n, CV_GRAY2BGR); 
drawOptFlowMap(flow_n, cflow_n, 10, CV_RGB(0,255,0)); 

///--------EQUALIZE INTENSITY, COMPUTE OPTICAL FLOW AND REMAP ----/// 
cv::Mat cutout_eq, second_eq; 
cutout_eq= equalizeIntensity(cutout); 
second_eq= equalizeIntensity(second); 

cv::Mat flow_eq, cutout_eq_gray, second_eq_gray, cflow_eq; 
cvtColor(cutout_eq, cutout_eq_gray, CV_RGB2GRAY); 
cvtColor(second_eq, second_eq_gray, CV_RGB2GRAY); 

cv::calcOpticalFlowFarneback(second_eq_gray, cutout_eq_gray, flow_eq, 0.5, 3, 15, 3, 5, 1.2, 0); 
cv::Mat remap_eq; 
createNewFrame(remap_eq, flow_eq, 1, second, cutout_eq); 
cflow_eq = cutout_eq_gray; 
cvtColor(cflow_eq, cflow_eq, CV_GRAY2BGR); 
drawOptFlowMap(flow_eq, cflow_eq, 10, CV_RGB(0,255,0)); 

cv::imshow("remap_n", remap_n); 
cv::imshow("remap_eq", remap_eq); 
cv::imshow("cflow_eq", cflow_eq); 
cv::imshow("cflow_n", cflow_n); 
cv::imshow("sec_eq", second_eq); 
cv::imshow("cutout_eq", cutout_eq); 
cv::imshow("cutout", cutout); 
cv::imshow("second", second); 

cv::waitKey(); 

return 0; 

}リマッピングのため

機能、中間画像生成に使用する：におけるオプティカルフローを表示する

void createNewFrame(cv::Mat & frame, const cv::Mat & flow, float shift, cv::Mat & prev, cv::Mat &next){ 
    cv::Mat mapX(flow.size(), CV_32FC1); 
    cv::Mat mapY(flow.size(), CV_32FC1); 
    cv::Mat newFrame; 
    for (int y = 0; y < mapX.rows; y++){ 
     for (int x = 0; x < mapX.cols; x++){ 
      cv::Point2f f = flow.at<cv::Point2f>(y, x); 
      mapX.at<float>(y, x) = x + f.x*shift; 
      mapY.at<float>(y, x) = y + f.y*shift; 
     } 
    } 
    remap(next, newFrame, mapX, mapY, cv::INTER_LANCZOS4); 
    frame = newFrame; 
    cv::waitKey(); 
} 

機能ベクター形式：

void drawOptFlowMap (const cv::Mat& flow, cv::Mat& cflowmap, int step, const cv::Scalar& color) { 
    cv::Point2f sum; //zz 
    std::vector<float> all_angles; 
    int count=0; //zz 
    float angle, sum_angle=0; //zz 
    for(int y = 0; y < cflowmap.rows; y += step) 
     for(int x = 0; x < cflowmap.cols; x += step) 
     { 
      const cv::Point2f& fxy = flow.at< cv::Point2f>(y, x); 
      if((fxy.x != fxy.x)||(fxy.y != fxy.y)){ //zz, for SimpleFlow 
       //std::cout<<"meh"; //do nothing 
      } 
      else{ 
       line(cflowmap, cv::Point(x,y), cv::Point(cvRound(x+fxy.x), cvRound(y+fxy.y)),color); 
       circle(cflowmap, cv::Point(cvRound(x+fxy.x), cvRound(y+fxy.y)), 1, color, -1); 
       sum +=fxy;//zz 
       angle = atan2(fxy.y,fxy.x); 
       sum_angle +=angle; 
       all_angles.push_back(angle*180/M_PI); 
       count++; //zz 
      } 
     } 
} 

機能は、より良い結果のために、画像の輝度を均一化するために：

cv::Mat equalizeIntensity(const cv::Mat& inputImage){ 
    if(inputImage.channels() >= 3){ 
     cv::Mat ycrcb; 
     cvtColor(inputImage,ycrcb,CV_BGR2YCrCb); 
     std::vector<cv::Mat> channels; 
     cv::split(ycrcb,channels); 
     cv::equalizeHist(channels[0], channels[0]); 
     cv::Mat result; 
     cv::merge(channels,ycrcb); 
     cvtColor(ycrcb,result,CV_YCrCb2BGR); 
     return result; 
    } 
    return cv::Mat(); 
} 

ので復習に、私の質問：

• はに2xbiggerに適用するFarnebackオプティカルフローのサイズを変更することは可能です画像？
• の画像がぼんやりとした画像（茶色の木製の部分が消えるはずです）を扱う方法はです。
• オプティカルフローが計算されなかったために作成された歪みの処理方法は、周囲の多くのピクセルに動きがありますか？ （右上のソファーベッド、&ライオンのフィギュリンは、再マップされた画像にゴーストの手を持っています）。 OpenCVののFarnebackオプティカルフローで

Answer 1

、あなただけのピクセル変位の概算、結果の画像に表示されるので、歪みを取得します。

私は、オプティカルフローが、あなたがIMHOを達成しようとしているもののために行く方法ではないと思います。代わりに、私はここでinstaceため画像/ピクセル登録を見てすることをお勧めしますしたい：http://docs.opencv.org/trunk/db/d61/group__reg.html

画像/ピクセル登録を2つの画像のピクセルのマッチングの科学です。まだ正確には解決されていない、この複雑で非自明な主題に関する積極的な調査が進行中です。