OpenGL ES：一連のテクスチャをムービーファイルとして保存

Question

私は、iPhoneカメラからライブビデオフレームを取得し、フラットOpenGLジオメトリにテクスチャとして適用して、カメラ入力の処理にシェーダを使用しています。処理されたテクスチャを取得してムービーファイルに保存することができるかどうかは誰にも知られていますか？

これは多くの処理能力を必要とするようですが、進歩するための最善の方法が何であるか、あるいはそれが可能であるかどうかはわかりません。ここでの動機付けは、カメラから取得したビデオに興味深いシェーダ効果を加え、結果を保存して他の人と共有できるようにすることです。

あなたの考えを前もっておねがいします。

Answer 1

私は、パフォーマンスへとコメントし、しかし、あなたがやりたいことはありません。

• 入ってくるサンプルを採取し、H.264でそれらを書き込むことができる（AVAssetWriterを作成し、他のファイル形式には思えません現在のiOSリリースでサポートされるように）
• AVAssetWriterInputをアセットライターに添付してビデオフレームを提供します（アセットライターは、アセットのさまざまな側面を提供する1つ以上の入力を取ります）。
• アセットライター入力にAVAssetWriterInputPixelBufferAdaptorを添付すると、入力でピクセルバッファーを押すことができます。資産ライターの入力にメディアデータをリアルタイムで期待することを伝えたいと思うでしょう。そうすることで、常に入力の準備ができていることがわかります。フレームタイミングの指定は、フレームの供給時およびフレーム指定時に行われるため、コードの残りの部分にはパフォーマンス要件は適用されません。

そこから、CVImageBuffersをピクセルバッファーアダプタにプッシュするだけです。 OS Xには便利なCore Video OpenGLバッファタイプがありますが、iOSには欠けているようです。代わりにglReadPixelsとCVPixelBufferCreateなどが必要です。ピクセルバッファをロックし、そのベースアドレスに直接書き込みます。その間にバイトをシャッフルする必要なしに、OpenGLに直接渡すことができることを期待しています。

iPhoneに専用のH.264エンコーダがあるとすると、主なパフォーマンスのボトルネックはglReadPixelsである可能性が高く、フレームバッファにあるものはすべてCPUに転送して再フォーマットする必要があります。すべてを設定して結果が遅いように見える場合は、最初に調査します。