Receio que todas as respostas aqui sejam irrelevantes para a pergunta. O que é chamado de vocoder no mundo da produção musical tem pouco a ver com o vocoder de fase usado no processamento de sinais. Para piorar a situação, o aplicativo Songify mencionado na postagem original não é um exemplo de vocoder. Vamos resolver isso!
1. Vocoder de fase
O vocoder de fase referenciado pelas outras respostas é uma técnica de processamento de sinal que pode ser usada para realizar modificações no tempo / tom dos sinais (alongamento do tempo, deslocamento do tom), calculando uma representação do sinal no tempo (frequência de curto prazo) , ou STFT) e, em seguida, inserindo / removendo os quadros de sinal e mantendo a coerência das informações da fase. Sua relação com a voz é apenas histórica e atualmente é usada para alteração de pitch e alongamento de tempo em hardware / software de áudio de gama baixa. O RubberBand é um exemplo de biblioteca de alteração de tempo / afinação de código-fonte C ++ baseada em um codificador de fase.
2. Vocoder
Quando as pessoas no campo da produção musical se referem a um Vocoder, elas se referem a um dispositivo que extrai o envelope espectral de um sinal (geralmente voz, chamado modulador) e filtra um outro sinal (geralmente uma textura sintética rica, chamada de transportadora) com um filtro cuja resposta é o envelope espectral extraído. Para um exemplo de som resultante, ouça 0:23 no Kraftwerk Trans Europe Express ou no Project The Raven , de Alan Parsons, nos primeiros segundos. O efeito resultante é um timbre de voz aplicado à melodia ou acordes tocados pelo sinal de portadora, dando a sensação de que uma voz é falada através de um sintetizador.
Sendo o vocoder originalmente um dispositivo analógico, ele foi implementado com dois bancos de uma dúzia ou mais de filtros de banda com alto Q. O sinal do modulador é enviado através do primeiro banco de filtros e a amplitude de todos os sinais de sub-banda é rastreada com um matriz de seguidores de envelope. Paralelamente, o sinal da operadora é enviado através de outro banco de filtros. Cada sub-banda é amplificada (com um VCA) com os ganhos dados pelos seguidores do envelope. Se você lê analógico, pode ver os esquemas de um canal de vocoder aqui , do Vocoder vivo de Jurgen Haible- em cima do filtro de sinal do modulador, na parte inferior, o filtro transportador e o VCA. As implementações de software de vocoders ficam perto disso, simplesmente porque os produtores de música esperam que os vocoders soem como os dispositivos analógicos clássicos! Mas se você não quer fidelidade aos dispositivos "antigos" e quer algo mais barato que 40 biquads, outra maneira de obter o mesmo resultado é estimar um filtro de todos os pólos (da ordem de 8 a 20, dependendo da distância que você deseja para chegar à voz original) a partir do sinal do modulador (modelagem AR); e depois aplique esse filtro ao transportador. O problema típico aqui é que você precisará atualizar seus coeficientes de filtro a cada quadro de 20 ms ou mais; então você precisa de uma representação do filtro de todos os pólos que lida com atualizações de coeficientes bem abruptas.
3. Ajuste automático e remapeamento de afinação
O que o Songify faz é o seguinte: extraia a prosódia (contorno do tom) da voz gravada e altere-a para que o contorno do tom resultante corresponda à melodia alvo. Isso é um pouco semelhante ao que o autoajuste faz, com a diferença de que o autoajuste "arredonda" o tom em direção ao semitom musicalmente mais próximo, enquanto o Songify apenas pressiona um valor-alvo.
Os algoritmos em ação aqui são muito diferentes dos alongamentos de tempo com mudança de tom tradicional, porque o sinal de voz é monofônico e se encaixa bem no modelo de filtro de fonte. Abordagens como TD-PSOLA (Pitch-Synchronous-Overlap-Add) no domínio do tempo são muito mais eficientes, tanto computacionalmente quanto em termos de qualidade, para alterar de forma transparente o tom de voz do que algoritmos genéricos de alongamento de tempo (geralmente feitos com vocodificadores de fase). ) Eles são usados, por exemplo, na síntese de fala para alterar a prosódia de uma sentença sintetizada - não muito diferente do Songify! O autoajuste também se baseia em tais métodos no domínio do tempo (detectando ciclos completos da forma de onda de entrada e reamostrando-os).
