SceneKitの下で捕捉されたカメラフレームに確実にアクセスして修正する

Question

ARフィルタービューのカメラ画像にB & Wフィルターを追加して、色付きのARオブジェクトをその上にレンダリングしようとします。時々色の枠が表示されます。次のコードではほとんど存在し

I'amは- (void)renderer:(id<SCNSceneRenderer>)aRenderer updateAtTime:(NSTimeInterval)time

CVPixelBufferRef bg=self.sceneView.session.currentFrame.capturedImage; 

if(bg){ 
    char* k1 = CVPixelBufferGetBaseAddressOfPlane(bg, 1); 
    if(k1){ 
     size_t x1 = CVPixelBufferGetWidthOfPlane(bg, 1); 
     size_t y1 = CVPixelBufferGetHeightOfPlane(bg, 1); 
     memset(k1, 128, x1*y1*2); 
    } 
} 

これはモバイル上で本当に速く動作しますが、ここでのことだの先頭に追加しました。 私のチェックしたフィルタリングコードが実行されましたが、私はそれが遅すぎると想定しています。SceneKitのパイプラインは既にカメラ入力を処理しています。

コードを先に呼び出すと便利ですが、updateAtTimeは、フレームコードでカスタムフレームを追加できる最も早い時点です。

フレームキャプチャの通知が役立つかもしれないの取得が、全体AVCapturesession is unaccessible.

のように見えますが、金属ARKitの例では、RGBにカメラ画像を変換する方法を示し、それは私がフィルタリングを行うだろう場所ですが、それシェーダがありますSceneKitを使用すると非表示になります。

私はthis possible answerを試しましたが、遅すぎます。

フレームミスを克服し、カメラのフィードをBWに確実に変換するにはどうすればよいですか？ここで

Answer 1

は、この問題のためのキーです：

session:didUpdateFrame:

は、デリゲートに、新たに撮影したカメラ画像および付随AR情報を提供します。

はそうちょうど CVPixelBufferRef操作、と呼ばれるこのデリゲートを持つように self.sceneView.session.delegate = selfを設定してくださいメイド

- (void)session:(ARSession *)session didUpdateFrame:(ARFrame *)frame 

へ

- (void)renderer:(id<SCNSceneRenderer>)aRenderer updateAtTime:(NSTimeInterval)time 

から画像フィルタリングコードを移動しました。