ブラウザでライブオーディオストリームにアクセスできますか？

私は耳が聞こえない人のために、電話で話す方法としてタイプすることを許可することによって、Webアプリケーションを作成したいと考えています。目標は、聴覚障害者がWebページに電話番号を入力し、電話をかけ、受信側の音声をリアルタイムでテキストに転記し、応答側のテキストをリアルタイムで音声に変換することです。ブラウザでライブオーディオストリームにアクセスできますか？

Twilioを使用して電話をかけ、音声ストリームをキャプチャし、音声認識APIを使用して音声を録音し、Twilioのテキスト読み上げ機能を使用してテキストを変換します。

私はTwilioがリアルタイムの転写を行う機能を持っていないことを知り、twilio.connectionオブジェクトを通してオーディオストリームにアクセスする方法を見つけることができないようです。したがって、Media Capture APIを使用してその音声をキャプチャすることを考えています。それは可能ですか？

出典

2017-02-26 Angelo

TwilioデバイスAPIを介してアクセス可能です。メディアキャプチャAPIを使用すると、ユーザーの[メディアストリーム]（https://w3c.github.io/mediacapture-main/getusermedia.html#mediastreamtrack）のトラックにアクセスでき、WebRTCを使用すると、あなたが接続で受け取る着信メディアストリーム。 – philnash

@philnash質問を詳細に拡大しました。私はWebRTCの仕様を今読んでいます。 MediaStreamTrackオブジェクトを通してオーディオストリームにアクセスできるはずですか？詳細をお知らせください。 – Angelo

[こちらの例]（https://github.com/szimek/webrtc-translate）をご覧ください。 Twilioは使用しませんが、WebRTCと音声認識を使用して（ほぼ）リアルタイムの言語翻訳を行います。 – philnash

はい、可能です。しかし、いくつかのブラウザの依存関係が存在する可能性があります。 Simpleの例がここにあります。コードはこのようなものになります。

var constraints = { 
     video: true, 
     audio: true, 
    }; 

    if(navigator.mediaDevices.getUserMedia) { 
     navigator.mediaDevices.getUserMedia(constraints).then(getUserMediaSuccess).catch(errorHandler); 
    } else { 
     alert('Your browser does not support getUserMedia API'); 
    }

出典

2017-02-27 08:20:37

これはStackOverflowの上の質問に対するビット広い

Twilio.Device.activeConnection().mediaStream

出典

2017-02-27 18:54:26

ブラウザでライブオーディオストリームにアクセスできますか？

答えて

関連する問題