オーバーレイを追加すると、キャプチャされたビデオが非常に遅い

Question

ビデオにオーバーレイを追加するAVAssetWriterでアプリケーションを構築しています。オーバーレイを追加しようとしないときはうまく動作します。しかし、オーバーレイを追加すると、ビデオが半分から切り取られて見えます（スクリーンショットで見ることができます）。ここで

は私addOverlayToImage機能である：

func addOverlayToImage(from filteredImage: UIImage) -> UIImage { 
    UIGraphicsBeginImageContextWithOptions(self.imageView.frame.size, false, 1.0); 
    self.imageView.layer.render(in: UIGraphicsGetCurrentContext()!) 
    let imageWithText = UIGraphicsGetImageFromCurrentImageContext() 
    UIGraphicsEndImageContext(); 
    return imageWithText! 
} 

私はcaptureOutput内部関数を呼び出す：

func captureOutput(_ captureOutput: AVCaptureOutput, didOutputSampleBuffer sampleBuffer: CMSampleBuffer!, from connection: AVCaptureConnection) { 
    self.bufferVideoQueue.async() { 
    let imageWithOverlay = self.addOverlayToImage(from: self.filteredImage) 
    let buffer = self.imageToBuffer(from: imageWithOverlay) 
    self.assetWriterPixelBufferInput?.append(buffer!, withPresentationTime: self.currentTime) 
    } 
} 

そしてimageToBuffer機能：

func imageToBuffer(from image: UIImage) -> CVPixelBuffer? { 
    let attrs = [ 
     String(kCVPixelBufferCGImageCompatibilityKey) : kCFBooleanTrue, 
     String(kCVPixelBufferCGBitmapContextCompatibilityKey) : kCFBooleanTrue 
    ] as [String : Any] 
    var buffer : CVPixelBuffer? 
    let status = CVPixelBufferCreate(kCFAllocatorDefault, Int(image.size.width), Int(image.size.height), kCVPixelFormatType_32ARGB, attrs as CFDictionary, &buffer) 
    guard (status == kCVReturnSuccess) else { 
     return nil 
    } 

    CVPixelBufferLockBaseAddress(buffer!, CVPixelBufferLockFlags(rawValue: 0)) 
    let pixelData = CVPixelBufferGetBaseAddress(buffer!) 

    let rgbColorSpace = CGColorSpaceCreateDeviceRGB() 
    let context = CGContext(data: pixelData, width: Int(image.size.width), height: Int(image.size.height), bitsPerComponent: 8, bytesPerRow: CVPixelBufferGetBytesPerRow(buffer!), space: rgbColorSpace, bitmapInfo: CGImageAlphaInfo.noneSkipFirst.rawValue) 

    context?.translateBy(x: 0, y: image.size.height) 
    context?.scaleBy(x: 1.0, y: -1.0) 

    UIGraphicsPushContext(context!) 
    image.draw(in: CGRect(x: 0, y: 0, width: image.size.width, height: image.size.height)) 
    UIGraphicsPopContext() 
    CVPixelBufferUnlockBaseAddress(buffer!, CVPixelBufferLockFlags(rawValue: 0)) 

    return buffer 
} 

やビデオからのスクリーンショット：

Answer 1

私はそのエラーを見たことがないので、私は確信していませんが、フレームで処理中の処理がフレーム時間（1 /おそらく30分の1）。

可能な限り時間を短縮することをお勧めします。私が見ることのできるところから、UIViewからUIImageを作成し、それをCVPixelBufferに変換しています。

これはすべてのフレームで起こっていますが、コンテンツはすべてのようには見えません。すべてのフレームを変更するにはが必要です。

バッファーを保存し、captureOutput(...)に内容が変更されているかどうかを確認することをお勧めします。保存されたバッファを使用できない場合は、再計算することができますが、今は毎分だけ発生します（私はあなたのスクリーンショットから推測しています）ので、ビデオには影響しません。

最後に、コードを非同期で実行しているため、問題が発生している可能性があります。その部分を削除し、そのコードをデリゲートメソッドで実行することをお勧めします。 （注：ドキュメントで非同期に指示する場合は無視してください）

Answer 2

AVAssetWriterInputを設定して、リアルタイムでデータを指定しようとしましたか（expectsMediaDataInRealTimeをtrueに設定しましたか？これはリアルタイム（ライブカメラ）データを書き込むときに大きな違いをもたらし、適切に設定されていないと出力が遅くなる可能性があります。

https://developer.apple.com/documentation/avfoundation/avassetwriterinput

https://developer.apple.com/documentation/avfoundation/avassetwriterinput/1387827-expectsmediadatainrealtime