透明ビデオiPhone

Question

私はブルースクリーンに記録されたビデオを持っています。

iOSデバイスで透明にする方法はありますか？私はピクセルシェーダとOpenGLでそれを行うことができますが、私はビデオフレームをデコード/ OpenGLテクスチャをアップロードし、ピクセルシェーダでフラグメントを除去するプロセスが遅すぎると恐れています。

提案がありますか？

Answer 1

ビデオをレンダリングし、青色のピクセルを透明に設定する場合は、これを行う効率的な唯一の方法はOpenGLです。これはiOSデバイスでは簡単に可能で、ビデオデコードはハードウェアで処理され、glTexSubImage2Dを使用してOpenGLにビデオフレームを転送するいくつかのプロジェクトがあります。

Answer 2

ビデオでクロマキーイングをしたいように思えます。私はちょうど私のGPUImageフレームワークにこれを行う機能を追加しました。これは、GPUベースの処理を使用して、CPUバインドされたフィルタよりも何倍も高速にこれらの操作を実行することを示しています。

フレームワークのSimpleVideoFileFilterの例では、ムービーを読み込んでフィルタリングし、ディスクにエンコードする方法を示しています。クロマキー合成を行うために、これを変更すると、次のようになります：

NSURL *sampleURL = [[NSBundle mainBundle] URLForResource:@"sample" withExtension:@"m4v"]; 
movieFile = [[GPUImageMovie alloc] initWithURL:sampleURL]; 

filter = [[GPUImageChromaKeyBlendFilter alloc] init]; 
[filter setColorToReplaceRed:0.0 green:0.0 blue:1.0]; 
[filter setThresholdSensitivity:0.4]; 

[movieFile addTarget:filter]; 

UIImage *inputImage = [UIImage imageNamed:@"background.jpg"]; 
sourcePicture = [[GPUImagePicture alloc] initWithImage:inputImage smoothlyScaleOutput:YES]; 
[sourcePicture addTarget:filter]; 

NSString *pathToMovie = [NSHomeDirectory() stringByAppendingPathComponent:@"Documents/Movie.m4v"]; 
NSURL *movieURL = [NSURL fileURLWithPath:pathToMovie]; 
movieWriter = [[GPUImageMovieWriter alloc] initWithMovieURL:movieURL size:CGSizeMake(480.0, 640.0)]; 
[filter addTarget:movieWriter]; 

[movieWriter startRecording]; 
[movieFile startProcessing]; 

[movieWriter setCompletionBlock:^{ 
    [filter removeTarget:movieWriter]; 
    [movieWriter finishRecording]; 
}]; 

上記のコードは、感度で純粋な青のOFFキーに設定されているクロマキーフィルタにそれを養う、sample.m4vと呼ばれるアプリケーションのリソースからのムービーをロードしますクロマキーイングに使用する背景画像を添付してから、すべての画像をエンコーダMovie.m4vをアプリケーションの/Documentsディレクトリに書き込むエンコーダに送ります。

必要に応じて入力画像を別のムービーまたは他のソースに置き換えたり、必要に応じて青の色合いを調整したりすることができます。このプロセスは、iOSデバイスのカメラからのライブビデオにも適用することができ、必要に応じて結果を画面に表示することができます。

iOS 5.0を実行しているiPhone 4では、クロマキーリングは640x480フレームのビデオで1.8ms（500+ FPS）、720pフレーム（15FPS）で65msかかります。新しいA5ベースのデバイスは、これらの操作よりも6〜10倍高速であるため、汗をかくことなく1080pのビデオを処理できます。私はフレームのアップロードと検索の両方にiOS 5.0の高速テクスチャキャッシュを使用しています。これにより、4.xを超えるそのOSバージョンでの処理が加速されます。

私がこれについて覚えていることは、私が映画のエンコーディングで音声を録音することをかなり手に入れていないことですが、私はその時点で作業しています。