openCVを使用して広角レンズでカメラを正しく較正する方法は？

Question

私は魚眼レンズでカメラをキャリブレーションしようとしています。そのために魚眼レンズモジュールを使用しましたが、歪みパラメータを修正しても奇妙な結果が得られます。 これは私が使用する入力画像です：https://i.imgur.com/apBuAwF.png

ここで、赤い円は私のカメラを調整するために使用するコーナーを示しています。

これは私が得ることができる最善である、出力：https://imgur.com/a/XeXk5

は、私は現在、カメラセンサーのサイズが何であるかを心で知っているが、私のnitrinsic行列で計算されているピクセル単位での焦点距離に基づいていません私のセンササイズは約3.3mm（私の物理的な焦点距離が1.8mmと仮定して）であることがわかります。これは現実的です。しかし、私の入力イメージをひずませるとき、私はナンセンスになります。誰かが私が間違ってやっていることを教えてもらえますか？キャリブレーションによって出力さ

行列とRMS：

K:[263.7291703200009, 0, 395.1618975493187; 
0, 144.3800397321767, 188.9308218101271; 
0, 0, 1] 

D:[0, 0, 0, 0] 

rms: 9.27628 

私のコード：

#include <opencv2/opencv.hpp> 
#include "opencv2/core.hpp" 
#include "opencv2/imgcodecs.hpp" 
#include "opencv2/imgproc.hpp" 
#include "opencv2/highgui.hpp" 
#include "opencv2/ccalib/omnidir.hpp" 

using namespace std; 
using namespace cv; 

vector<vector<Point2d> > points2D; 
vector<vector<Point3d> > objectPoints; 

Mat src; 

//so that I don't have to select them manually every time 
void initializePoints2D() 
{ 
    points2D[0].push_back(Point2d(234, 128)); 
    points2D[0].push_back(Point2d(300, 124)); 
    points2D[0].push_back(Point2d(381, 126)); 
    points2D[0].push_back(Point2d(460, 127)); 
    points2D[0].push_back(Point2d(529, 137)); 
    points2D[0].push_back(Point2d(207, 147)); 
    points2D[0].push_back(Point2d(280, 147)); 
    points2D[0].push_back(Point2d(379, 146)); 
    points2D[0].push_back(Point2d(478, 153)); 
    points2D[0].push_back(Point2d(551, 165)); 
    points2D[0].push_back(Point2d(175, 180)); 
    points2D[0].push_back(Point2d(254, 182)); 
    points2D[0].push_back(Point2d(377, 185)); 
    points2D[0].push_back(Point2d(502, 191)); 
    points2D[0].push_back(Point2d(586, 191)); 
    points2D[0].push_back(Point2d(136, 223)); 
    points2D[0].push_back(Point2d(216, 239)); 
    points2D[0].push_back(Point2d(373, 253)); 
    points2D[0].push_back(Point2d(534, 248)); 
    points2D[0].push_back(Point2d(624, 239)); 
    points2D[0].push_back(Point2d(97, 281)); 
    points2D[0].push_back(Point2d(175, 322)); 
    points2D[0].push_back(Point2d(370, 371)); 
    points2D[0].push_back(Point2d(578, 339)); 
    points2D[0].push_back(Point2d(662, 298)); 


    for(int j=0; j<25;j++) 
    { 
     circle(src, points2D[0].at(j), 5, Scalar(0, 0, 255), 1, 8, 0); 
    } 

    imshow("src with circles", src); 
    waitKey(0); 
} 

int main(int argc, char** argv) 
{ 
    Mat srcSaved; 

    src = imread("images/frontCar.png"); 
    resize(src, src, Size(), 0.5, 0.5); 
    src.copyTo(srcSaved); 

    vector<Point3d> objectPointsRow; 
    vector<Point2d> points2DRow; 
    objectPoints.push_back(objectPointsRow); 
    points2D.push_back(points2DRow); 

    for(int i=0; i<5;i++) 
    { 

     for(int j=0; j<5;j++) 
     { 
      objectPoints[0].push_back(Point3d(5*j,5*i,1));   
     } 
    } 

    initializePoints2D(); 
    cv::Matx33d K; 
    cv::Vec4d D; 
    std::vector<cv::Vec3d> rvec; 
    std::vector<cv::Vec3d> tvec; 


    int flag = 0; 
    flag |= cv::fisheye::CALIB_RECOMPUTE_EXTRINSIC; 
    flag |= cv::fisheye::CALIB_CHECK_COND; 
    flag |= cv::fisheye::CALIB_FIX_SKEW; 
    flag |= cv::fisheye::CALIB_FIX_K1; 
    flag |= cv::fisheye::CALIB_FIX_K2; 
    flag |= cv::fisheye::CALIB_FIX_K3; 
    flag |= cv::fisheye::CALIB_FIX_K4; 


    double rms =cv::fisheye::calibrate(
objectPoints, points2D, src.size(), 
K, D, rvec, tvec, flag, cv::TermCriteria(3, 20, 1e-6)  
); 

    Mat output; 
    cerr<<"K:"<<K<<endl; 
    cerr<<"D:"<<D<<endl; 
    cv::fisheye::undistortImage(srcSaved, output, K, D); 
    cerr<<"rms: "<<rms<<endl; 
    imshow("output", output); 
    waitKey(0); 

    cerr<<"image .size: "<<srcSaved.size()<<endl; 

} 

誰もがアイデアを持っている場合は、PythonでいずれかのC++でいくつかのコードを共有することのどちらかお気軽に。あなたのボートは何でも浮かびます。

EDIT：

あなたは私のカーペットを構成するタイルから私は、キャリブレーションのための黒と白の市松模様を使用していないの通知が、コーナーを持っているよう。終わりに目標 - 私は、歪み半径からのサンプルを表すコーナー座標を得ると考えています。カーペットはある程度、チェッカーボードと同じですが、唯一の違いはもう一度思います。黒や白のチェッカーボードよりも、カーペットのコーナーのような高周波エッジが少ないことです。

私は画像の数が非常に限られていることを知っています。つまり、画像はある程度歪んでいないと思いますが、歪みは非常にうまくいくと思います。しかし、この場合、画像の出力は全くナンセンスのように見えます。

私はチェス盤で、この画像を使用して終了：このウェブサイトで提供さhttps://imgur.com/a/WlLBR ：https://sites.google.com/site/scarabotix/ocamcalib-toolbox/ocamcalib-toolbox-download-pageは しかし、結果はまだ非常に貧弱です：私は投稿他の出力画像のように斜めの線。

ありがとうございました

Answer 1

最初の問題は、1つの画像のみを使用していることです。歪みのない理想的なピンホールカメラがあっても、同一平面上の点の単一画像から組み込み関数を推定することはできません。同一平面上の点の1つのイメージは、単に、組み込み関数を解くのに十分な制約を与えません。

異なる3D方向で少なくとも2つの画像、またはポイントが同一平面上にない3D較正リグが必要です。もちろん、実際には、正確な較正のために少なくとも20枚の画像が必要です。

2番目の問題は、あなたがチェッカーボードとしてカーペットを使用していることです。サブピクセル精度で画像の点を検出できる必要があります。小さな局在誤差は、推定されたカメラパラメータに大きな誤差をもたらす。私は真剣にあなたのカーペットの正方形の角を妥当な精度で検出できることを真剣に疑っています。実際には、カーペット上の実際のポイント位置も非常に正確に測定することさえできません。なぜなら、それはあいまいであるからです。

運が良かった！