CMSampleBufferをUIImageに変換する

Question

sampleBufferをUIImageに変換しようとしていて、colorspaceGrayの画像ビューで表示しようとしています。しかし、それは次のイメージとして表示されます。この質問には何が間違っていますか？ CMSampleBufferをどのように変換できますか？

Answer 1

変換は単純です：

func captureOutput(_ captureOutput: AVCaptureOutput!, didOutputSampleBuffer sampleBuffer: CMSampleBuffer!, from connection: AVCaptureConnection!) { 

     let imageBuffer: CVPixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer)! 

     let ciimage : CIImage = CIImage(cvPixelBuffer: imageBuffer) 

     let image : UIImage = self.convert(cmage: ciimage) 

    } 

// Convert CIImage to CGImage 
    func convert(cmage:CIImage) -> UIImage 
    { 
     let context:CIContext = CIContext.init(options: nil) 
     let cgImage:CGImage = context.createCGImage(cmage, from: cmage.extent)! 
     let image:UIImage = UIImage.init(cgImage: cgImage) 
     return image 
    } 

Answer 2

CMSampleBufferは、あなたが、直接グレースケール画像を構築し、そこからRGBAデータを与えているように見えます。新しいバッファを構築する必要があります。新しいバッファは、ピクセルごとにgray = (pixel.red+pixel.green+pixel.blue)/3のような処理を行います。または、受け取ったデータから通常のRGBAイメージを作成し、それをグレースケールに変換する必要があります。

しかし、あなたのコードでは、全く移行しません。どのような種類のデータが入っていても、生のポインタをCVPixelBufferGetBaseAddressを使用してバッファに入れました。そして、受け取ったデータがグレースケールであると仮定して、イメージを作成するのに同じポインタを渡すだけです。