UnityでARKitを使用しているときにiPhoneカメラフレームにアクセス中、camera.videoparams.cvPixelBufferを変換中

Question

現在、OpenCVとARKitの両方を使用するUnityプロジェクトを作成しようとしています。私はOpenCVを持っていますので、私はARKitを直接やりたくはありません。私は、ARKitアプリとOpenCVアプリの両方を別々に動作させています。しかし、一緒に使用すると、ARKitはカメラをつかんで、私が計画している機能認識のためにARCitフレームデータをOpenCVに取得する方法をまだ分かっていません。

public void ARFrameUpdated(UnityARCamera camera) 
{ 
    // Get the frame pixel buffer 
    var cvPixBuf = camera.videoParams.cvPixelBufferPtr; 

    // Somehow convert to BGRa and insert into OpenCV datastructure 

    // Perform OpenCV related actions 
} 

は、しかし、私は私が使用できる何かにcamera.videoParams.cvPixelBufferPtrを変換する方法がわからない午前：

私の現在の目標は、以下のようなもので、パイプにARFrameUpdatedメソッドを使用してARKitフレームデータでありますOpenCVで。

私がこれを行うために使用できる別の方法を知っている人は、それも感謝します。

Answer 1

新しいカメラを作成してUnityARVideoを追加し、そのカリングマスクを何も設定せずにレンダリングテクスチャにレンダリングします。これは、テクスチャへの非公式のカメラフィードをレンダリングします。