Detectando partes de uma música

Espero que isso não seja muito subjetivo ...

Estou procurando alguma direção nos esforços para detectar as diferentes "partes" de uma música, independentemente do estilo musical. Não tenho ideia de onde procurar, mas confiando no poder dos outros sites do StackOverflow, achei que alguém aqui poderia ajudar a apontar a direção.

Em termos mais básicos, era possível detectar diferentes partes de uma música, agrupando apenas padrões repetidos consecutivos e chamando-os de "parte". Talvez isso não seja tão difícil - os computadores são muito bons em detectar repetições em um sinal, mesmo quando há uma pequena variação.

Mas é difícil quando as "partes" se sobrepõem, como na maioria das músicas.

É difícil dizer que tipo de música seria mais adequado para esse tipo de sistema. Eu diria que a maioria das músicas sinfônicas de estilo clássico seria mais fácil de processar.

Alguma idéia de onde procurar pesquisas nessa área?

Não sou especialista em processamento de sinais, mas sei bastante sobre teoria musical. Eu diria que, pelo contrário, a música clássica provavelmente seria uma das músicas mais difíceis de analisar por métodos matemáticos simples. É melhor começar com algo mais simples e repetitivo, como música pop ou techno. O pop geralmente tem um formato verso-coro-verso ... etc, que pode ser favorável a uma versão simplista de seus objetivos.

Tente usar uma transformação de Fourier nos seus dados para dividi-los em suas frequências constituintes mais importantes, talvez hierarquicamente entre diferentes subseções. Em particular, você pode procurar coisas diferentes com base em como deseja agrupar as "partes" dos seus dados.

1. As oscilações mais lentas da sua música pop provavelmente serão as mudanças entre verso e refrão e de volta ao verso (talvez 0,75 oscilações por minuto?).

2. Em seguida, você poderá encontrar oscilações de frequência mais alta entre as progressões de acordes, ou seja, entre cada medida completa de sua música (talvez cerca de 6 oscilações por minuto?).

3. A próxima frequência mais alta que eu pensaria seria uma barra dentro de uma medida (talvez cerca de 24 oscilações por minuto?) Dentro da qual o padrão de dedilhado e o sincopamento das letras frequentemente se repetem na música pop / folk.

4. Analisando os detalhes sangrentos, você encontrará as batidas e ritmos que se repetem em cada barra da sua música. Escolher e isolar uma delas (a talvez 148 oscilações / batidas por minuto?) Provavelmente produziria um bumbo, ou um toque de cowbell, ou algo semelhante.

5. Em algum lugar entre batidas e tons, você pode encontrar elementos estilísticos rápidos de sua música, como velocidade / varredura em uma guitarra elétrica ou ritmo rápido de rap vocal. (Eu não tenho ideia de quão rápido isso possa ser, mas acho que em algum lugar da ordem de 1000 batimentos por minuto ou mais).

6. Por fim, de forma rápida e provavelmente mais complexa, são os elementos de tom e timbre. Eu sei que a nota "do meio A" é padronizada para 440 Hz, ou seja, 440 oscilações por SEGUNDO. Tenho certeza de que existem técnicas para diferenciar com base na qualidade tonal e no timbre que tipos de instrumentos estão sendo usados; existem até bons algoritmos para detectar vocais humanos. No entanto, como eu disse, não sou especialista em processamento de sinais.

A música é geralmente descrita usando descritores MPEG7 com algumas coisas adicionais, como MFCCs, calculadas nos pedaços da peça feitos por alguma abordagem de janela em movimento (ou seja, você tem algum tamanho e salto de janela, comece com a janela colocada no início do som, calcule o descritores na janela, mova-o por salto e repita até o fim).
Dessa forma, uma peça é transformada em uma mesa; no seu caso, ele pode ser usado para aplicar alguns agrupamentos nos pedaços e, assim, detectar essas "partes".

Existem muitos métodos diferentes e uma infinidade de literatura sobre esse tópico, de uma ampla variedade de perspectivas. Aqui estão alguns destaques que podem ser bons pontos de partida para sua pesquisa.

Se sua formação é mais musical do que matemática ou computacional, você pode estar interessado nos trabalhos de David Cope, a maioria de seus trabalhos publicados se concentra na análise de peças de música clássica, mas ele tem um empreendimento privado chamado recombinante que parece mais geral. Muitos de seus trabalhos usaram a música como modelos de linguagem, mas acredito que pelo menos alguns de seus trabalhos mais recentes se voltaram mais para todo o genoma musical como uma abordagem. Ele tem muitos softwares disponíveis on-line , mas geralmente é escrito em Lisp e alguns só podem ser executados em várias versões do sistema operacional da Apple, embora alguns devam funcionar no Linux ou em qualquer lugar onde você possa executar o Lisp comum .

A análise de sinais e música em geral tem sido um problema muito popular no aprendizado de máquina. Há uma boa cobertura de partida na Christopher Bishop textos Redes Neurais de Reconhecimento de Padrões e Reconhecimento de Padrões e Machine Learning . Aqui está um exemplo de um artigo de mestrado que tem a parte de classificação musical, mas tem uma boa cobertura na extração de recursos, que o autor cita pelo menos um dos textos do Bispo e várias outras fontes. Ele também recomenda várias fontes para artigos mais atuais sobre os tópicos.

Livros mais matemáticos ou estatísticos (pelo menos por sua autoria, se não por seu conteúdo):

Desde que mencionei Bishop e a perspectiva computacional do aprendizado de máquina, eu só contaria metade da história se também não sugerisse que você desse uma olhada nos mais recentes Elements of Statistical Learning (que está disponível para download legal gratuito) por Hastie , Tibshirani e Friedman. Não me lembro de haver especificamente um exemplo de processamento de áudio neste texto, mas vários dos métodos abordados podem ser adaptados a esse problema.

Mais um texto que vale a pena considerar é o Statistics in Musicology de Jan Beran . Isso fornece uma série de ferramentas estatísticas especificamente para a análise de obras musicais e também possui inúmeras referências.

Novamente, existem muitas outras fontes por aí. Muito disso depende de qual é o seu histórico e qual a abordagem do problema com o qual você se sente mais confortável. Espero que pelo menos parte disso o guie um pouco na sua busca por uma resposta. Se você nos contar mais sobre seus antecedentes, detalhes adicionais sobre o problema ou fizer uma pergunta em resposta a esta postagem, tenho certeza de que eu ou muitas outras pessoas aqui ficaríamos felizes em direcioná-lo a informações mais específicas. Boa sorte!

Não é uma ótima resposta, mas dois lugares para procurar pesquisas são:

A Sociedade Internacional para Recuperação de Informações Musicais tem toneladas de artigos publicados sobre esse tópico, surpreendentes quanta informação existe www.ismir.net

& Echo Nest (uma startup com uma API para fazer coisas semelhantes) echonest.com

ATUALIZAÇÃO: eles também lançaram algum código de impressão digital de código aberto. http://echoprint.me/

Eu estava interessado no problema semelhante. Aqui está a solução. Não é uma proposta científica tão antiga que se denomina scape plot . Consulte este artigo para obter detalhes (parece bom).

Além disso, eu recomendaria que você também visitasse o site do autor, pois existem muitas aplicações similares de estatísticas na música. Ao procurar outras fontes semelhantes, recomendo usar o termo Recuperação de informações musicais, que inclui áreas semelhantes.