O que significa "permutação invariável" no contexto de redes neurais que fazem reconhecimento de imagem?

Eu vi um termo "permutação invariável" versão da tarefa de reconhecimento de dígitos MNIST. O que isso significa?

— RockTheStar
fonte

Respostas:

Nesse contexto, isso se refere ao fato de o modelo não assumir nenhuma relação espacial entre os recursos. Por exemplo, para perceptron de múltiplas camadas, você pode permutar os pixels e o desempenho seria o mesmo. Esse não é o caso das redes convolucionais, que assumem relações de vizinhança.

— bayerj
fonte

Sim, essa é a parte confusa. Não deveria haver relação espacial na classificação de dígitos?

— RockTheStar 15/10

O MNIST é amplamente utilizado como referência (ou verificação de sanidade) em redes neurais. Se o seu modelo pode obter <1% de erro no MNIST invariante de permutação, você está em uma situação.

— bayerj

Sim, quero dizer, não há relação espacial em dígitos também? Se você permitir os dígitos dos pixels, ele mudará a ordem dos pixels, o que afeta essencialmente o desempenho !?

— RockTheStar

Somente se o modelo assumir isso. mlps não, convnets fazem. É por isso que comparar um convnet a um mlp no mnist é um tanto injusto.

— bayerj

Eu vejo! Então, no conjunto de dados mnist, o mlps tem melhor desempenho ou convnet?

— RockTheStar

$f$ $x=(x_1, \dots,x_n)$ $f$ $x$ $n=3$

f ((x_{1}, x_{2}, x_{3})) = f ((x_{2}, x_{1}, x_{3})) = f ((x_{3}, x_{1}, x_{2}))

$f((x_1, x_2, x_3))=f((x_2, x_1,x_3))=f((x_3,x_1,x_2))$

— kjetil b halvorsen
fonte

Essa resposta é um pouco enganadora, porque o aprendizado de máquina o algoritmo de aprendizado geralmente é invariante de permutação, enquanto a função que ele retorna não é.

— precisa saber é

@bayerj: Essa é uma informação interessante, mas não consigo ver que ela torna enganosa a definição que dei , é uma definição correta, mas talvez não seja uma resposta completa nesse contexto.

— b Kjetil HALVORSEN

Você está certo, a definição está correta. Mas não é aplicável na maneira como você a escreve. No contexto da permutação MNIST invariável, sobre a qual o OP estava perguntando, funções do formulário que você anota não ocorrem.

— precisa saber é