Por que o pool máximo é necessário em redes neurais convolucionais?

18

As redes neurais convolucionais mais comuns contêm camadas de pooling para reduzir as dimensões dos recursos de saída. Por que não consegui a mesma coisa simplesmente aumentando o passo da camada convolucional? O que torna a camada de pool necessária?

deep-learning conv-neural-network pooling

— user3667089
fonte

16

Você pode, de fato, fazer isso, consulte Esforçando-se pela simplicidade: a rede totalmente convolucional . O pool oferece uma quantidade de invariância de conversão, que pode ou não ser útil. Além disso, o pool é mais rápido de calcular do que as convoluções. Ainda assim, você sempre pode tentar substituir o pool por convolução com facilidade e ver o que funciona melhor.

Alguns trabalhos atuais usam pool médio ( Wide Residual Networks , DenseNets ), outros usam convolução com passo ( DelugeNets )

— robintibor
fonte

Perguntei a um de meus amigos sobre isso e ele disse que as camadas de pooling são melhores porque isso introduz não linearidade. Você concorda?

— precisa saber é o seguinte

7

Hm não tenho tanta certeza de que concordo. Algum tipo de não linearidade já está presente nas redes através das funções de ativação. O pool médio também não introduz nenhuma não linearidade adicional; é uma operação linear, portanto, apenas o pool máximo é não linear. E acho que a pergunta é mais se você deseja a regularização que o pool traz para você - um pouco mais de invariância da tradução.

— robintibor

4

Aparentemente, o pool máximo ajuda porque extrai os recursos mais nítidos de uma imagem. Portanto, dada uma imagem, os recursos mais nítidos são a melhor representação de nível inferior de uma imagem. https://www.quora.com/What-is-the-benefit-of-using-average-ousing-rather-than-max-ousing

Mas, de acordo com a palestra Deep Learning de Andrew Ng, o pool máximo funciona bem, mas ninguém sabe o porquê. Citação -> "Mas eu tenho que admitir, acho que a principal razão pela qual as pessoas usam o pool máximo é porque foi encontrado em muitos experimentos para funcionar bem ... Não sei se alguém sabe completamente se esse é o verdadeiro razão subjacente ".

— Yi Xiang Chong
fonte