Como escolher um número ideal de fatores latentes na fatoração matricial não negativa?

Dada uma matriz , a fatoração de matriz não negativa (NMF) encontra duas matrizes não negativas e ( ou seja, com todos os elementos ) para representar a matriz decomposta como:W m × k H k × n ≥$\mathbf V^{m \times n}$$\mathbf W^{m \times k}$$\mathbf H^{k \times n}$$\ge 0$

por exemplo, exigindo que e não negativos minimizem o erro de reconstrução$\mathbf W$$\mathbf H$

Existem práticas comuns para estimar o número $k$ na NMF? Como, por exemplo, a validação cruzada pode ser usada para esse fim?

Para escolher um número ideal de fatores latentes na fatoração de matriz não negativa, use a validação cruzada.

Como você escreveu, o objetivo do NMF é encontrar e baixa dimensão com todos os elementos não negativos, minimizando o erro de reconstrução . Imagine que deixamos de fora um elemento de , por exemplo, , e executamos NMF da matriz resultante com uma célula ausente. Isso significa localizar e minimizando o erro de reconstrução em todas as células ausentes:$\mathbf W$$\mathbf H$$\|\mathbf V-\mathbf W\mathbf H\|^2$$\mathbf V$$V_{ab}$$\mathbf W$$\mathbf H$

Feito isso, podemos prever o elemento deixado de fora calculando e calcular o erro de previsãoPode-se repetir esse procedimento, deixando de fora todos os elementos um de cada vez, e resumir os erros de previsão em todos os e . Isso resultará em um valor geral de PRESS (soma residual prevista dos quadrados) que dependerá de . Esperamos que a função tenha um mínimo que possa ser usado como um 'ótimo' .$V_{ab}$$[\mathbf W\mathbf H]_{ab}$

Observe que isso pode ser computacionalmente caro, porque o NMF deve ser repetido para cada valor deixado de fora e também pode ser complicado de programar (dependendo de como é fácil executar o NMF com valores ausentes). No PCA, é possível contornar isso deixando de fora as linhas completas de (que acelera muito os cálculos); veja minha resposta em Como executar a validação cruzada do PCA para determinar o número de componentes principais? , mas isso não é possível aqui.$\mathbf V$

É claro que todos os princípios usuais de validação cruzada se aplicam aqui, para que se possa deixar de fora muitas células por vez (em vez de apenas uma) e / ou repetir o procedimento para apenas algumas células aleatórias, em vez de repetir todas as células. Ambas as abordagens podem ajudar a acelerar o processo.

Edit (Mar 2019): Veja este excelente artigo ilustrado de @AlexWilliams : http://alexhwilliams.info/itsneuronalblog/2018/02/26/crossval . Alex usa https://github.com/kimjingu/nonnegfac-python para NMF com valores ausentes.

Que eu saiba, existem dois bons critérios: 1) o coeficiente de correlação cofenética e 2) comparar a soma residual dos quadrados com dados aleatórios para um conjunto de classificações (talvez exista um nome para isso, mas não me lembro)

1. Coeficiente de correlação copenética: Você repete a NMF várias vezes por classificação e calcula quão semelhantes são os resultados. Em outras palavras, quão estáveis ​​são os clusters identificados, uma vez que a semente inicial é aleatória. Escolha o K mais alto antes que o coeficiente cophenetic diminua.

2. RSS contra dados aleatórios Para qualquer abordagem de redução de dimensionalidade, sempre há uma perda de informações em comparação com os dados originais (estimados por RSS). Agora execute o NMF para aumentar K e calcule o RSS com o conjunto de dados original e um conjunto de dados aleatório. Ao comparar o RSS na função K, o RSS diminui com o aumento do K no conjunto de dados original, mas esse é menos o caso do conjunto de dados randomizado. Ao comparar as duas inclinações, deve haver um K onde elas cruzam. Em outras palavras, quanta informação você poderia perder (= K mais alto) antes de ficar dentro do barulho.

Espero ter sido suficientemente claro.

Edit: Eu encontrei esses artigos.

1.Jean-P. Brunet, Pablo Tamayo, Todd R. Golub e Jill P. Mesirov. Metagenes e descoberta de padrões moleculares usando fatoração matricial. Em Procedimentos da Academia Nacional de Ciências dos EUA, 101 (12): 4164-4169, 2004.

2.Attila Frigyesi e Mattias Hoglund. Fatoração matricial não negativa para análise de dados complexos de expressão gênica: identificação de subtipos de tumores clinicamente relevantes. Cancer Informatics, 6: 275-292, 2008.

Na fatoração de NMF, o parâmetro (observado r na maioria da literatura) é a classificação da aproximação de V e é escolhido de forma que k < min ( m , n ) . A escolha do parâmetro determina a representação dos seus dados V em uma base excessivamente completa composta pelas colunas de W ; o w i  ,  i = 1 , 2 , ⋯ , k . O resultado é que as fileiras das matrizes W e H têm um limite superior de$k$$r$$V$$k < \text{min}(m, n)$$V$$W$$w_i \text{ , } i = 1, 2, \cdots, k$$W$$H$ e o produto W H é uma aproximação de classificação baixa de V ; também k no máximo. Portanto, a escolha de k < min ( m , n ) deve constituir uma redução de dimensionalidade em que V pode ser gerado / medido a partir dos vetores de base mencionados acima.$k$$WH$$V$$k$$k < \text{min}(m, n)$$V$

Mais detalhes podem ser encontrados no capítulo 6 deste livro por S. Theodoridis e K. Koutroumbas.

Após a minimização da função de custo escolhida em relação a e H , a escolha ideal de k ( escolhida empiricamente por trabalhar com diferentes subespaços de recursos) deve fornecer V ∗ , uma aproximação de V , com recursos representativos de sua matriz de dados inicial V . $W$$H$$k$$V^*$$V$$V$

Trabalhando com diferentes subespaços de recursos no sentido de que, o número de colunas em W , é o número de vetores de base no subespaço NMF. E trabalhar empiricamente com diferentes valores de k equivale a trabalhar com diferentes espaços de característica com redução de dimensionalidade.$k$$W$$k$