Desacelere a reprodução de música enquanto mantém a frequência

Tocar um pedaço de áudio da música em uma velocidade mais lenta diminuiria seu tom (frequência). Existe uma ferramenta e uma teoria para diminuir a velocidade da música enquanto mantém a frequência igual? Suponho que se pode fazer transformada de Fourier com janela ou transformação de wavelet. Parece que é preciso pré-selecionar o tamanho da janela ou escolher dinamicamente a base da wavelet. Existe alguma teoria e aplicação específica e detalhada para fazer isso?

Sim, alguns de nós podem fazê-lo, você pode acelerar ou diminuir a velocidade sem afetar o tom, alguns caras chamam isso de Time Stretch, existem diferentes maneiras de fazer isso, você pode fazer no domínio da frequência ou no domínio do tempo, precisará escolher o que é melhor para você, você encontrará algumas vantagens e desvantagens de cada uma.

Domínio do tempo:

No Time Domain, você pode tentar algumas técnicas como:

• TDHS (Sacalização Harmônica no domínio do tempo)
• SOLA (adição de sobreposição síncrona)
• PSOLA (adição de sobreposição síncrona de pitch)
• WSOLA (adição de sobreposição de similaridade de forma de onda)

Prós: É rápido, alguns algoritmos são fáceis de entender, boa qualidade em sons monofônicos.

Contras: Geralmente, você precisará de uma trilha de arremesso muito boa para emendar na posição correta, é difícil de fazer :-(, por isso, se sua trilha de arremesso falhar ou não funcionar com sons polifônicos, esses algoritmos fornecerão muitas falhas / artefatos no som de saída.

Domínio de frequência:

Todo o tempo que eu conheço no domínio da frequência é baseado em técnicas de fase de vocoder .

Prós: Funciona com sons polifônicos ou monofônicos.

Contras: Pode ser doloroso entender toda a matemática, a implementação é um pouco difícil, não é tão rápida como os códigos do domínio do tempo, para voz, eu prefiro resultados no domínio do tempo, alguns truques para melhorar o resultado do vocoder da fase padrão não são compartilhados.

Posso dizer que a janela e o tamanho do lúpulo são uma das chaves para a qualidade do vocoder de fase, geralmente escolhemos 4xsobrepor à ressíntese, uma única janela de tamanho 4096é suficiente para meus ouvidos (é claro, se você tem poder de processamento para esses tamanhos) , o vocoder de fase padrão pode adicionar alguns efeitos reverberantes. Para evitar esse tipo de problema, talvez seja necessário bloquear a fase.

Para datailed dar uma olhada no Miller Puckette e Portnoff papel

A ferramenta / teoria que você descreve é ​​realmente uma grande área de pesquisa em tecnologia musical, amplamente chamada de modificação da escala de tempo do áudio. Um grande componente desse campo é como você pode impedir alterações audíveis na frequência após o alongamento do tempo. Isso pode ser abordado com métodos no domínio da frequência e do tempo, dependendo das restrições ou dos objetivos do seu aplicativo. A entrada da Wikipedia para modificação de escala de tempo / afinação de áudio é um bom ponto de partida.

Se você deseja seguir uma abordagem usando frequência / wavelet, o tamanho da janela e a escolha da base afetarão a capacidade de localizar o sinal. Para usar o STFT como exemplo, uma janela longa funcionará bem para sinusóides estacionários, mas destruirá seus transitórios. Uma janela mais curta fornecerá uma resposta transitória preferível ao custo da localização no domínio da frequência. O desempenho de outras bases de wavelets dependerá da natureza da projeção do seu sinal na base.

Abaixo está um link para uma função tutorial simples e valiosa em C ++ (smbPitchShift.cpp) de Stephan M. Bernsee, que pode desacelerar ou acelerar a música sem alterar seu tom.

Ele lançou esse código sob a The Wide Open License (WOL). Dentro do meu aplicativo, eu pude adaptar sua função para diminuir a velocidade da música em tempo real - ou seja, ao reproduzir um arquivo mp3 e, adicionalmente, fazer a detecção de afinação no sinal mp3 ao mesmo tempo.

Também incluí um link para o site de Bernsee, que contém suas descrições detalhadas sobre o alongamento do tempo e a mudança de pitch de sinais de áudio, como música.

https://github.com/AndyA/BatPhone/blob/master/pitchshift.c

http://blogs.zynaptiq.com/bernsee/time-pitch-overview/