OpenCV cvProjectPoints2関数の使い方

Question

私はcvProjectPoints2関数にいくつかの問題があります。 O'Reillyの「学習OpenCVの」ブックから関数の概要を以下に示します。

void cvProjectPoints2(
const CvMat* object_points, 
const CvMat* rotation_vector, 
const CvMat* translation_vector, 
const CvMat* intrinsic_matrix, 
const CvMat* distortion_coeffs, 
CvMat* image_points, 
); 

最初の引数、object_points、あなたが投影したいポイントのリストです。ポイント位置を含むN行3列の行列です。オブジェクトのローカル座標系でこれらを指定し、次に3つの行列rotation_vector *とtranslation_vectorを提供して2つの座標を関連付けることができます。あなたの特定の状況では、それはカメラ座標で直接動作するように簡単であれば、あなただけの、そのシステムでobject_pointsを与えると0を含むようにrotation_vectorとtranslation_vectorの両方を設定することができます。†

intrinsic_matrixとdistortion_coeffsはちょうどカメラ固有の情報であり、および で説明されているcvCalibrateCamera2（）からの歪み係数11. image_points引数は、計算結果が書き込まれるN行2列の行列です。

まず、object_points配列のバグがあるようです。ポイントが1つしかない場合（N = 1）、プログラムがクラッシュします。とにかく、私はいくつかのカメラ固有のパラメータと投影行列を持っています。歪み係数は0で与えられ、ひずみはない。簡単のため は、私は2台のカメラを持っていると仮定：

double intrinsic[2][3][3] = { 
//camera 0 
1884.190000, 0, 513.700000, 
0.0, 1887.490000, 395.609000, 
0.0, 0.0, 1.0, 
//camera 4 
1877.360000, 0.415492, 579.467000, 
0.0, 1882.430000, 409.612000, 
0.0, 0.0, 1.0 
}; 

double projection[2][3][4] = { 
//camera 0 
0.962107, -0.005824, 0.272486, -14.832727, 
0.004023, 0.999964, 0.007166, 0.093097, 
-0.272519, -0.005795, 0.962095, -0.005195, 
//camera 4 
1.000000, 0.000000, -0.000000, 0.000006, 
0.000000, 1.000000, -0.000000, 0.000001, 
-0.000000, -0.000000, 1.000000, -0.000003 
}; 

限り私は理解し、この情報は、任意のカメラビュー上の任意の点（x、y、z）を投影するのに十分です。ここで、x、y、z座標では、カメラ4の光学中心が世界座標の原点である。ここで

は私のコードです：

#include <cv.h> 
#include <highgui.h> 
#include <cvaux.h> 
#include <cxcore.h> 
#include <stdio.h> 

double intrinsic[2][3][3] = { 
//0 
1884.190000, 0, 513.700000, 
0.0, 1887.490000, 395.609000, 
0.0, 0.0, 1.0, 
//4 
1877.360000, 0.415492, 579.467000, 
0.0, 1882.430000, 409.612000, 
0.0, 0.0, 1.0 
}; 

double projection[2][3][4] = { 
//0 
0.962107, -0.005824, 0.272486, -14.832727, 
0.004023, 0.999964, 0.007166, 0.093097, 
-0.272519, -0.005795, 0.962095, -0.005195, 
//4 
1.000000, 0.000000, -0.000000, 0.000006, 
0.000000, 1.000000, -0.000000, 0.000001, 
-0.000000, -0.000000, 1.000000, -0.000003 
}; 


int main() { 
    CvMat* camera_matrix[2]; // 
    CvMat* rotation_matrix[2]; // 
    CvMat* dist_coeffs[2]; 
    CvMat* translation[2]; 
    IplImage* image[2]; 
    image[0] = cvLoadImage("color-cam0-f000.bmp", 1); 
    image[1] = cvLoadImage("color-cam4-f000.bmp", 1); 
    CvSize image_size; 
    image_size = cvSize(image[0]->width, image[0]->height); 

    for (int m=0; m<2; m++) { 
     camera_matrix[m] = cvCreateMat(3, 3, CV_32F); 
     dist_coeffs[m] = cvCreateMat(1, 4, CV_32F); 
     rotation_matrix[m] = cvCreateMat(3, 3, CV_32F); 
     translation[m] = cvCreateMat(3, 1, CV_32F); 
    } 

    for (int m=0; m<2; m++) { 
     for (int i=0; i<3; i++) 
      for (int j=0; j<3; j++) { 
       cvmSet(camera_matrix[m],i,j, intrinsic[m][i][j]); 
       cvmSet(rotation_matrix[m],i,j, projection[m][i][j]); 
      } 
     for (int i=0; i<4; i++) 
      cvmSet(dist_coeffs[m], 0, i, 0); 
     for (int i=0; i<3; i++) 
      cvmSet(translation[m], i, 0, projection[m][i][3]); 
    } 

    CvMat* vector = cvCreateMat(3, 1, CV_32F); 
    CvMat* object_points = cvCreateMat(10, 3, CV_32F); 
    cvmSet(object_points, 0, 0, 1000); 
    cvmSet(object_points, 0, 1, 500); 
    cvmSet(object_points, 0, 2, 100); 

    CvMat* image_points = cvCreateMat(10, 2, CV_32F); 
    int m = 0; 
    cvRodrigues2(rotation_matrix[m], vector); 
    cvProjectPoints2(object_points, vector, translation[m], camera_matrix[m], dist_coeffs[m], image_points); 
    printf("%f\n", cvmGet(image_points, 0, 0)); 
    printf("%f\n", cvmGet(image_points, 0, 1)); 
    return 0; 
} 

画像は1024×768であり、Zの目に見える部分は、だから、44と120の間であることを知っている、ポイントはカメラの両方に見られるべきです、右？しかし、結果は絶対に間違っています。 m = 1の場合でも。 何が間違っていますか？

Answer 1

うん、cvProjectPointsは点の配列を投影するために使用されます。

CvMat *pt = cvCreateMat(3, 1, CV_32FC1); 
CvMat *pt_rt = cvCreateMat(3, 1, CV_32FC1); 
CvMat *proj_pt = cvCreateMat(3, 1, CV_32FC1); 
cvMatMulAdd(rotMat, pt, translation, pt_rt); 
cvMatMul(intrinsic, pt_rt, proj_pt); 
// convertPointsHomogenious might be used 
float scale = (float)CV_MAT_ELEM(*proj_pt, float, 2, 0); 
float x = CV_MAT_ELEM(*proj_pt, float, 0, 0)/scale; 
float y = CV_MAT_ELEM(*proj_pt, float, 1, 0)/scale; 
CvPoint2D32f img_pt = cvPoint2D32f(x, y);