和音検出アルゴリズム

Question

まず第一に、私は、この和音検出アルゴリズムを実装しようとしています： http://www.music.mcgill.ca/~jason/mumt621/papers5/fujishima_1999.pdf

を私はもともと私のマイクを使用するアルゴリズムを実装し、それはうまくいきませんでした。テストとして私はCコードを作るために3つのオシレーターを作成しましたが、アルゴリズムはまだ動作しません。私はC、E、Gの数字だけを見るべきだと思うけど、すべての音符の数字を見る。アルゴリズムの実装に問題はありますか？それとも私のN、fref、またはfsの値ですか？ここで

は、重要な部品とコードの抜粋です：あなたはそれを自分で実行してみたい場合はここで

// Set audio Context 
window.AudioContext = window.AudioContext || window.webkitAudioContext; 

var mediaStreamSource = null; 
var analyser = null; 
var N = 4096;//8192;//2048; // Samples of Sound 
var bufferLen = null; 
var buffer = null; 
var PCP = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]; // Pitch Class Profiles 
var fref = 261.63; // Reference frequency middle C (C4) 
// fref = 65.4; // Reference frequency C2 
// fref = 440.0; // Reference frequency A4 
var audioContext = new AudioContext(); 
var fs = audioContext.sampleRate; // Retrieve sampling rate. Usually 48KHz 
var useMicrophone = false; 

navigator.mediaDevices.getUserMedia(constraints) 
    .then(function(stream) { 
    // Create an analyzer node to process the audio 
    analyser = audioContext.createAnalyser(); 
    analyser.fftSize = N; 
    bufferLen = N/2; 
    //bufferLen = analyser.frequencyBinCount; 
    console.log('bufferLen = ' + bufferLen); 
    buffer = new Float32Array(bufferLen); 

    if (useMicrophone) { 
     // Create an AudioNode from the stream. 
     mediaStreamSource = audioContext.createMediaStreamSource(stream); 
     // Connect it to the destination. 
     mediaStreamSource.connect(analyser); 
    } 
    else { 
     // As a test, feed a C chord directly into the analyzer 
     // C4, E4, G4 
     var freqs = [261.63, 329.63, 392.00]; 
     for(var i=0; i < freqs.length; i++) { 
     var o = audioContext.createOscillator(); 
     var g = audioContext.createGain(); //Create Gain Node 
     o.frequency.value = freqs[i]; 
     o.connect(g); 
     g.gain.value = 0.25; 
     g.connect(audioContext.destination); 
     g.connect(analyser); 
     o.start(0); 
     //setTimeout(function(s) {s.stop(0)}, 1000, o); 
     } 
    } 

    // Call algorithm every 50 ms 
    setInterval(function() { 
     pcpAlg(); 
    }, 50); 
    }) 
    .catch(function(err) { 
    console.log(err.name + ": " + err.message); 
    }); 

function pcpAlg() { 
    analyser.getFloatTimeDomainData(buffer); 
    //analyser.getFloatFrequencyData(buffer); 
    // Reset PCP 
    PCP = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]; 
    // M(0)=-1 so we don't have to start at 0 
    for (var l = 1; l < bufferLen; l++) { // l = 0,1,...,[(N/2) - 1] 
    // Calculate M(l) 
    var ML = Math.round(12 * Math.log2((fs * (l/N))/fref)) % 12; // 
    //console.log(ML); 
    if (ML >= 0 && ML <= 11) { 
     PCP[ML] += Math.pow(Math.abs(buffer[l]), 2); 
    } 
    } 

    // Display Data on UI and also try to determine if the sound is a C or F chord 
    displayAndCategorize(); 
} 

は私の完全なcodepenです。警告useMicrophoneはfalseに設定されているので、Cのコード音になります。 https://codepen.io/mapmaps/pen/ONQPpw

Answer 1

問題は1999年の論文のアルゴリズムにあります。マグニチュードのピークはFFTを使用しているようですが、これは粗いスペクトル周波数推定器であり、音楽のピッチ検出器/推定器ではありません。ポリフォニックコードの推定は、さらに難しく複雑な作業です。ポリフォニック音楽抽出の最新アルゴリズムに関する研究論文をご覧ください。http://www.music-ir.org/mirex/wiki/2015:MIREX2015_Results