デコードされたオーディオとMediacodecのビデオデータを同期する

Question

MediaExtractorとMediaCodecのAPIを使用して、単純なオーディオ/ビデオプレーヤーを書きたいと思います。

私はaudioとvideoをデコードしてレンダリングすることができます。 しかし、audio - videoの同期がありません。

audioとvideoの間の同期を制御するAPIが見つかりませんでした。 デコードされたaudioとvideoのデータを同期する方法を教えていただけますか？

Answer 1

Androidソースでは、MediaCodec APIに基づいてエンジンを実装した例があります。playerframeworks/av/cmds/stagefright/SimplePlayer.cppにあるSimplePlayerを確認することができます。

このプレーヤエンジンの実装では、MediaCodecからの出力はdequeuedであり、hereのようにキューにプッシュされます。完全な画像を得るには、439〜450行目をチェックしてください。

バッファが利用可能になると、hereが実装された単純なAV Syncメカニズムがあります。 508行目〜521行目を参照してください。この例では、1つのトラックしか考慮されていないため、nowUs、つまり現在の時刻はsystemTimeから導き出される。すなわち、ALooper::nowUsである。あなたのコードで

、あなたはfirst-come-first-serve基づいて常にaudioをレンダリング考えることができ、あなたのvideoトラックのために、あなたはaudioトラックからnowUsを導き出すことができます。

単純な実装はgetAudioLastPresentationTimeがaudio rendererへaudioMediaCodecから送信された最後のpresentationTimeUsを返し、nowUs = getAudioLastPresentationTime()である可能性があります。