Computar com eficiência ou aproximar a dimensão VC de uma rede neural


19

Meu objetivo é resolver o seguinte problema, que descrevi por suas entradas e saídas:

Entrada:

Um gráfico acíclico direcionado com nós, n fontes e 1 coletor ( m> n \ geq 1 ).m n 1 m > n 1Gmn1m>n1

Resultado:

O VC-dimensão (ou uma aproximação da mesma) para a rede neural com topologia G .

Mais detalhes :

  • Cada nó em G é um neurônio sigmóide. A topologia é fixa, mas os pesos nas bordas podem ser variados pelo algoritmo de aprendizado.
  • O algoritmo de aprendizado é fixo (por exemplo, propagação para trás).
  • Os n nós de origem são os neurônios de entrada e só podem receber cadeias de {1,1}n como entrada.
  • O nó coletor é a unidade de saída. Ele gera um valor real de [1,1] que arredondamos para 1 ou para 1 se for mais do que um determinado limite fixo δ longe de 0 .

A abordagem ingênua é simplesmente tentar quebrar cada vez mais pontos, tentando treinar a rede neles. No entanto, esse tipo de abordagem de simulação não é eficiente.


Questão

Existe uma maneira eficiente (por exemplo, em P quando alterada para o problema de decisão: a dimensão VC é menor que o parâmetro de entrada k ?) Para calcular esta função? Caso contrário, existem resultados de dureza?

Existe uma maneira prática de calcular ou aproximar essa função? Se for uma aproximação, existem garantias sobre sua precisão?

Notas

Fiz uma pergunta semelhante no stats.SE, mas não gerou interesse.


1
Isso pode tornar a pergunta mais independente se você puder tornar a função de transferência mais explícita. Ou seja, especifique as fórmulas reais de como a informação se propaga.
Suresh

Respostas:


9

Se você deseja restringir ainda mais o problema, deixando a rede em camadas, o "Machine Learning" de Tom Mitchell fornece um limite superior de ( ) (seção 7.4.4) em que é o número de nós internos (que deve ser maior que 2), é a dimensão VC dos nós individuais e é a base do logaritmo natural. Se você procura um número limitado de exemplos de treinamento, essas informações devem ser suficientes.s d e2dslog(es)sde

Não é estritamente uma resposta à sua pergunta, mas pode ajudá-lo no caminho. O resultado é devido a Baum e Haussler (1989).

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.