Teorema da aproximação universal para redes convolucionais

O teorema da aproximação universal é um resultado bastante famoso para redes neurais, basicamente afirmando que, sob algumas suposições, uma função pode ser uniformemente aproximada por uma rede neural com precisão.

Existe algum resultado análogo que se aplica às redes neurais convolucionais?

Essa é uma pergunta interessante, no entanto, falta um esclarecimento adequado sobre o que é considerado uma rede neural convolucional .

É o único requisito que a rede precisa incluir uma operação de convolução? Precisa incluir apenas operações de convolução? As operações de pool são admitidas? As redes convolucionais usadas na prática usam uma combinação de operações, geralmente incluindo camadas totalmente conectadas (assim que você tem camadas totalmente conectadas, você tem a capacidade de aproximação universal teórica).

Para fornecer algumas respostas, considere o seguinte caso: Uma camada totalmente conectada com entradas e saídas é realizada usando uma matriz de pesos . Você pode simular esta operação usando 2 camadas de convolução:K W ∈ R K × $D$$K$$W \in \mathbb R ^{K\times D}$

1. O primeiro tem uma filtros de forma . O elemento do filtro é igual a , o restante são zeros. Essa camada transforma a entrada no espaço intermediário dimensional , onde cada dimensão representa um produto de um peso e sua entrada correspondente.D d k , d W k , d K $K\times D$$D$$d$$k,d$$W_{k,d}$$KD$

2. A segunda camada contém filtros da forma . Os elementos do filtro são uns, o restante são zeros. Essa camada executa a soma dos produtos da camada anterior.K D k D … ( k + 1 ) D $K$$KD$$kD\ldots(k+1)D$$k$

Essa rede convolucional simula uma rede totalmente conectada e, portanto, possui os mesmos recursos de aproximação universal. Cabe a você considerar como esse exemplo é útil na prática, mas espero que ele responda à sua pergunta.

Parece que essa pergunta foi respondida afirmativamente neste artigo recente de Dmitry Yarotsky: Aproximações universais de mapas invariantes por redes neurais .

O artigo mostra que qualquer função equivariante da tradução pode ser aproximada arbitrariamente bem por uma rede neural convolucional, uma vez que é suficientemente ampla, em analogia direta ao teorema clássico da aproximação universal.

Veja o artigo Universalidade de redes neurais convolucionais profundas de Ding-Xuan Zhou , que mostra que as redes neurais convolucionais são universais, ou seja, elas podem aproximar qualquer função contínua a uma precisão arbitrária quando a profundidade da rede neural for grande o suficiente.