Androidの顔検出API - 保存された動画ファイル

Question

Android Vision FaceDetector APIを使用して、動画ファイル（ユーザーギャラリーのMP4など）で顔検出/追跡を行いたいとします。 CameraSourceクラスを使用して、カメラから直接送信されるストリーム（たとえばon the android-vision github）に顔のトラッキングを実行することについての多くの例を見ることができますが、ビデオファイルには何も表示されません。

CameraSourceのソースコードをAndroid Studioから見てみましたが、難読化されていて、元のオンラインを見ることができませんでした。私はイメージを使用して、カメラとファイルを使用する間に多くの共通点があります。おそらく私はSurfaceでビデオファイルを再生し、それをパイプラインに渡すだけです。

また、Frame.Builderは、機能がsetImageDataおよびsetTimestampMillisであることがわかります。動画の中でByteBufferと読むことができたら、それをどのようにFaceDetector APIに渡すのですか？私はthis questionは似ていますが、答えはないと思います。同様に、ビデオをBitmapフレームにデコードし、それをsetBitmapに渡します。

理想的には、ビデオを画面にレンダリングしたくないので、処理は、APIが可能な限り速く行わなければなりません。

Answer 1

また、Frame.BuilderにsetImageDataとsetTimestampMillisという関数があることがわかります。私がByteBufferとしてビデオを読むことができたら、それをFaceDetector APIにどのように渡すのでしょうか？

単にdetectorは次のように作成する必要がありますSparseArray<Face> faces = detector.detect(frame);を呼び出す：

FaceDetector detector = new FaceDetector.Builder(context) 
    .setProminentFaceOnly(true) 
    .build(); 

Answer 2

処理時間が問題でない場合は、MediaMetadataRetriever.getFrameAtTimeを使用して問題を解決します。アントンが示唆したように、あなたもFaceDetector.detectを使用することができます。

deltaT=1000000/fps

Bitmap bitmap; 
Frame frame; 
SparseArray<Face> faces; 
MediaMetadataRetriever mMMR = new MediaMetadataRetriever(); 
mMMR.setDataSource(videoPath); 
String timeMs = mMMR.extractMetadata(MediaMetadataRetriever.METADATA_KEY_DURATION); // video time in ms 
int totalVideoTime= 1000*Integer.valueOf(timeMs); // total video time, in uS 
for (int time_us=1;time_us<totalVideoTime;time_us+=deltaT){ 
     bitmap = mMMR.getFrameAtTime(time_us, MediaMetadataRetriever.OPTION_CLOSEST_SYNC); // extract a bitmap element from the closest key frame from the specified time_us 
     if (bitmap==null) break; 
     frame = new Frame.Builder().setBitmap(bitmap).build(); // generates a "Frame" object, which can be fed to a face detector 
     faces = detector.detect(frame); // detect the faces (detector is a FaceDetector) 
     // TODO ... do something with "faces" 
    } 

、及びfps 1秒あたりのフレームの所望の数です。たとえば、毎秒4フレームを抽出する場合は、deltaT=250000 （すべての反復で上書きされるので、ループ内で何か（ストア/レポート結果）を行う必要があります。