Twillioプログラマブルビデオ

Question

TwilioのProgrammable Video APIを使用すると、自動的に話す人にどのように焦点を合わせるかという点でGoogleハングアウト機能に似たものを構築できますか？

これについての例や注釈はドキュメントには表示されていません。このためのgithubはそれほど頻繁には表示されません。

ありがとうございました。ありがとうございました！

Answer 1

ここではTwilioの開発者エバンジェリストです。

あなたはそのようなことを構築できますが、現在はVideo SDK自体の範囲外です。

私はこれまでこれをしていませんでしたが、チャットの各参加者からの音声を分析することから始めます。実際には、既存の<video>または<audio>要素からオーディオソースを作成できます。 Twilioビデオの場合は、あなたが<audio>要素を探し、それらを使用したいので、各トラックは、別個の要素として作成されます。

var audioElements = document.querySelectorAll('audio'); 
audioElements.forEach(audio => { 
    var audioCtx = new AudioContext(); 
    var source = audioCtx.createMediaElementSource(audio); 
    // create audio analyser, analyse volume in audio 
}) 

あなたは、すべてのリモートのトラックを分析するために、ウェブオーディオAPIを使用したいです現在のところ、一定の期間にわたって最大の騒音を出しているものを取り除き、そのものに切り替えることができます。 This blog post may help with the analysis。私は選択に役立つものは何も見ていないが、うまくいけばそこから作業することができます。

これがまったく役に立ったら教えてください。