Fatoração matricial não negativa para separação de áudio - por que funciona?

A fatoração de matriz não negativa visa fatorar uma matriz $\mathbf V$ no produto de duas matrizes, $\mathbf V = \mathbf W\mathbf H$ , Onde $\mathbf W$ representa um conjunto de vetores de base e $\mathbf H$ suas ativações ou pesos. Aplicado à separação da fonte de áudio, $\mathbf V$ é o espectrograma (que é conhecido por nós) e $\mathbf W$ é o espectro não negativo básico, $\mathbf H$ são suas ativações temporais.

Parece que sou capaz de expressar um espectrograma como uma soma de diferentes caixas de frequência e suas magnitudes - o que ajudaria a filtrar ou separar diferentes arremessos (aparentemente fazendo o trabalho de um filtro passa-banda normal?). Eu não entendo como isso realmente separaria, digamos, um piano e um cantor cantando o mesmo tom ou similar.

audio source-separation

— Samyukta Ramnath
fonte

para notas musicais com harmônicos, talvez um banco de filtros comb seja melhor do que um banco de filtros passa-banda que sintonizariam apenas o fundamental (ou talvez outro harmônico). o dente de frequência mais baixa dos filtros de pente seria girado para a mesma frequência que os BPFs. portanto, o espectrograma poderia ser considerado a soma de diferentes frequências afinadas com seus harmônicos. haveria alguma sobreposição.

— Robert Bristow-johnson

Respostas:

Lembre-se de que as colunas de $\mathbf{W}$ pode ser visto como vetores "básicos" (ou elementos de um dicionário - os blocos de construção de qualquer sinal) e elementos em cada coluna $\mathbf{H}$ forneça os pesos correspondentes (que variam com o tempo). Isso nos permite decompor o espectrograma com base não apenas em componentes de frequência, mas também em informações de início temporal; portanto, faz mais do que o que um simples filtro passa-banda ou filtro pente faria.

A fatoração matricial não negativa de um espectrograma não separa magicamente um piano e um cantor cantando no mesmo tom. No entanto, fornece uma aproximação útil em termos de uma soma de vetores de base ponderada que (esperançosamente) podem ser divididos em contribuições de diferentes fontes, porque é improvável que cada fonte ocupe exatamente a mesma faixa de frequência exatamente no mesmo instante.

Mais concretamente, vamos $\mathbf{V}$ estar $M\times N$ , $\mathbf{W}$ estar $M \times K$ e $\mathbf{H}$ estar $K \times N$ . Então nós temos $M$ caixas de frequência, $N$ amostras de tempo e $K$ componentes decompostos. E se $\mathbf{w}_i$ são as colunas de $\mathbf{W}$ e $\mathbf{h}_i$ são as linhas de $\mathbf{H}$ nós podemos escrever:

V \approx \sum_{i = 1}^{K} w_{i} h_{i}^{T} .

$\mathbf{V} \approx \sum_{i=1}^K \mathbf{w}_i \mathbf{h}_i^T.$ Se sabemos que existem apenas duas fontes na gravação (piano e cantor), podemos tentar dividir suas contribuições escolhendo subconjuntos das colunas de

W

$\mathbf{W}$ e subconjunto correspondente das linhas de

H

$\mathbf{H}$ . Então se

S \subset {1, \dots, K}

$S \subset \{1,\ldots,K\}$ então a parte contribuída pelo piano pode ser indicada por:

V_{piano} = \sum_{i \in S} w_{i} h_{i}^{T}

$\mathbf{V}_{\mbox{piano}} = \sum_{i \in S} \mathbf{w}_i \mathbf{h}_i^T$ e a parte contribuída pelo cantor é:

V_{singer} = \sum_{i \in {1, \dots, K} ∖ S} w_{i} h_{i}^{T}

$\mathbf{V}_{\mbox{singer}} = \sum_{i \in \{1,\ldots,K\}\setminus S} \mathbf{w}_i \mathbf{h}_i^T$

Na realidade, provavelmente acabaremos com uma decomposição que nunca atinge exatamente essa separação. Ou seja, haverá $\mathbf{w}_i$ que têm contribuições tanto do cantor quanto do piano, dificultando a separação dos dois.

Aqui está um caderno Python mostrando este procedimento para uma mistura de bateria e guitarra: http://nbviewer.jupyter.org/gist/ingle/93de575aac6a4c7fe9ee5f3d5adab98f (ou, se isso não funcionar, aqui: https://gist.github.com / ingle / 93de575aac6a4c7fe9ee5f3d5adab98f )

Observe que o algoritmo NMF gera apenas uma decomposição. Não pode selecionar subconjuntos de $\{\mathbf{w}_i\}$ correspondente a cada fonte. No exemplo do Python, há uma etapa manual de descobrir quais $\mathbf{w}_i$ O som é mais parecido com a guitarra v / s drum. Pode-se talvez automatizar essa etapa observando que o tambor $\mathbf{w}_i$ vetores têm mais coisas em frequências mais baixas.

Analisar cada coluna (quadro) do espectrograma usando um banco de filtros passa-banda é outra maneira de decompor o espectrograma. No entanto, observe que a decomposição gerada pelo NMF é baixa, ou seja, parcimoniosa. No exemplo do Python, era muito mais fácil selecionar manualmente subconjuntos de 16 colunas de $\mathbf{W}$ correspondente às duas fontes. Com um banco de filtros passa-banda, teríamos que girar muito mais botões (# filtros, localizações das faixas-passe para cada quadro) e o número de combinações de parâmetros pode crescer muito rapidamente.

Referências:

https://ccrma.stanford.edu/~njb/teaching/sstutorial/part2.pdf

http://musicinformationretrieval.com/nmf.html

— Atul Ingle
fonte

Pyhton ligação notebook não está funcionando

— soultrane

quando o cantor e o piano estão cantando a mesma nota (mesma classe de afinação e mesma oitava), como é que o conjunto

S

$S$ e defina o conjunto correspondente para o cantor (que você está denotando como

{1, \dots, K} ∖ S

$\{1,\ldots,K\} \setminus S$ ) seria diferente?

— Robert Bristow-johnson

@ robertbristow-johnson, você está certo - nesse caso, minha descrição não é precisa. No entanto, assumi que é muito improvável que o cantor e o piano estivessem cantando exatamente a mesma nota, exatamente no mesmo instante instantâneo / idêntico. Portanto, há esperança de que possamos dividi-lo em subconjuntos disjuntos. Caso contrário, haverá

w_{i}

$\mathbf{w}_i$ é que terão contribuições de ambas as fontes.

— Atul Ingle

@soultrane link corrigido.

— Atul Ingle

É diferente porque o uso de um banco de filtros passa-banda gera uma decomposição "mais densa", enquanto o NMF fornece uma decomposição "mais esparsa". A decomposição gerada pelo NMF é baixa e parcimoniosa. No exemplo do Python, era muito mais fácil selecionar manualmente subconjuntos de 16 colunas de

W

$\mathbf{W}$ correspondente às duas fontes. Com um banco de filtros passa-banda, teríamos que girar muito mais botões (# filtros, localizações das faixas-passe para cada quadro) e o número de combinações de parâmetros pode crescer muito rapidamente.

— Atul Ingle

Objetivo: boa aproximação de separar um cantor de um piano. Agora, algumas considerações sobre os requisitos para uma separação precisa das fontes sonoras, uma vez que é improvável que TODAS as informações de entrada sejam necessárias para fazer uma separação precisa (possivelmente seus "vetores básicos"):
- para cada volume de cada nota do piano, o resultado distribuição de frequência amostrada ao longo do tempo (conforme ataca e desaparece). - para cada nota X volume X fonema dos cantores exprime a distribuição de frequências (e sua variação com vários níveis de vibrato). - para todos os itens acima, o efeito de reverberação deve ser considerado. - a letra da música (para combinar com os fonemas do cantor)

Também existem restrições no domínio do tempo, como cada nota de piano deve começar com o ataque e os efeitos do pedal de sustentação do piano (amortecimento repentino quase simultâneo de notas que estavam "tocando", embora as teclas correspondentes tenham sido liberadas)

Dado o exposto acima, a busca é a soma "melhor ajuste" de um conjunto de espectros de notas de piano e um espectro de fone-volume-fonema de uma única nota do cantor para aproximar o som resultante.

— Bgr967dhr
fonte