ArUco Axisスワップ中に3dAxis

Question

私は現在、プロジェクト用のArucoキューブディテクタを開発しようとしています。目標は、大型のArucoボードを使わずに、より安定した姿勢推定を行うことです。しかし、これが機能するためには、各マーカーの向きを知る必要があります。 draw3dAxisメソッドを使用して、X軸とY軸が同じ場所に一貫して表示されないことを発見しました。問題を示す動画は次のとおりです。https://youtu.be/gS7BWKm2nmg

Rvec検出に問題があるようです。 Rvecの最初の2つの値には明確なシフトがあります。これは、軸が交換されるまでかなり安定しています。この軸スワップが発生すると、値は2〜6の任意の大きさで変化します。そのメソッドを呼び出し、getRotations（）メソッドを使用しない）

/** 
* Return the id read in the code inside a marker. Each marker is divided into 7x7 regions 
* of which the inner 5x5 contain info, the border should always be black. This function 
* assumes that the code has been extracted previously. 
* @return the id of the marker 
*/ 
protected int calculateMarkerId(){ 
    // check all the rotations of code 
    Code[] rotations = new Code[4]; 
    rotations[0] = code; 
    int[] dists = new int[4]; 
    dists[0] = hammDist(rotations[0]); 
    int[] minDist = {dists[0],0}; 
    for(int i=1;i<4;i++){ 
     // rotate 
     rotations[i] = Code.rotate(rotations[i-1]); 
     dists[i] = hammDist(rotations[i]); 
     if(dists[i] < minDist[0]){ 
      minDist[0] = dists[i]; 
      minDist[1] = i; 
     } 
    } 
    this.rotations = minDist[1]; 
    if(minDist[0] != 0){ 
     return -1; // matching id not found 
    } 
    else{ 
     this.id = mat2id(rotations[minDist[1]]); 
    } 
    return id; 
} 

とMarkerDetector.detect（：：

// identify the markers 
    for(int i=0;i<nCandidates;i++){ 
     if(toRemove.get(i) == 0){ 
      Marker marker = candidateMarkers.get(i); 
      Mat canonicalMarker = new Mat(); 
      warp(in, canonicalMarker, new Size(50,50), marker.toList()); 
      marker.setMat(canonicalMarker); 
      marker.extractCode(); 
      if(marker.checkBorder()){ 
       int id = marker.calculateMarkerId(); 
       if(id != -1){ 
        // rotate the points of the marker so they are always in the same order no matter the camera orientation 
        Collections.rotate(marker.toList(), 4-marker.getRotations()); 

        newMarkers.add(marker); 

       } 
      } 
     } 
    } 

ARucoライブラリはMarker.calculateMarkerId（）メソッドのように回転に対処しようとしません

ArUcoライブラリの完全なソースコードはここにある：https://github.com/sidberg/aruco-android/blob/master/Aruco/src/es/ava/aruco/MarkerDetector.java

誰もが、私は非常に優雅になるだろう何かアドバイスや解決策を持っている場合。ご不明な点がございましたら、私にご連絡ください。

Answer 1

問題が見つかりました。マーカークラスには、マーカーの向きに合わせて軸を回転させるための回転変数があります。

protected static void alignToId(Mat rotation, int codeRotation) { 
    //get the matrix corresponding to the rotation vector 
    Mat R = new Mat(3, 3, CvType.CV_64FC1); 
    Calib3d.Rodrigues(rotation, R); 

    codeRotation += 1; 
    //create the matrix to rotate around Z Axis 
    double[] rot = { 
      Math.cos(Math.toRadians(90) * codeRotation), -Math.sin(Math.toRadians(90) * codeRotation), 0, 
      Math.sin(Math.toRadians(90) * codeRotation), Math.cos(Math.toRadians(90) * codeRotation), 0, 
      0, 0, 1 
    }; 

    // multiply both matrix 
    Mat res = new Mat(3, 3, CvType.CV_64FC1); 
    double[] prod = new double[9]; 
    double[] a = new double[9]; 
    R.get(0, 0, a); 
    for (int i = 0; i < 3; i++) 
     for (int j = 0; j < 3; j++) { 
      prod[3 * i + j] = 0; 
      for (int k = 0; k < 3; k++) { 
       prod[3 * i + j] += a[3 * i + k] * rot[3 * k + j]; 
      } 
     } 
    // convert the matrix to a vector with rodrigues back 
    res.put(0, 0, prod); 
    Calib3d.Rodrigues(res, rotation); 
} 

と私はMarker.calculateExtrinsicsメソッドからそれを呼ばれる：私はUtilsのクラスに次のメソッドを書いた

 Utils.alignToId(Rvec, this.getRotations());