Entendendo o teorema do almoço grátis na Classificação de Padrões de Duda et al.

Tenho algumas perguntas sobre as anotações usadas na Seção 9.2 Falta de superioridade inerente a qualquer classificador na Classificação de padrões de Duda, Hart e Stork . Primeiro, deixe-me citar um texto relevante do livro:

• Para simplificar considerar um problema de duas categorias, onde o conjunto de treinamento $D$ consiste em padrões $x^i$ e categoria rótulos associados $y_i = ± 1$ para $i = 1,..., n$ gerado pela função alvo desconhecida a ser aprendida, $F(x)$ , onde $y_i = F(x^i)$ .
• Deixe $H$ denotar o conjunto (discreto) de hipóteses ou possíveis conjuntos de parâmetros a serem aprendidos. Uma hipótese específica $h(x) \in H$ pode ser descrita por pesos quantizados em uma rede neural, ou parâmetros 0 em um modelo funcional, ou conjuntos de decisões em uma árvore, e assim por diante.
• Além disso, $P(h)$ é a probabilidade anterior de que o algoritmo produza a hipótese $h$ após o treinamento; observe que essa não é a probabilidade de que $h$ esteja correto.
• Em seguida, indica a probabilidade de que o algoritmo irá produzir hipótese h quando formados nos dados D . Em algoritmos de aprendizado determinístico, como o vizinho mais próximo e as árvores de decisão, P ( h | D ) será zero em todos os lugares, exceto por uma única hipótese h . Para métodos estocásticos (como redes neurais treinadas com pesos iniciais aleatórios) ou aprendizado estocástico de Boltzmann, P ( h | D ) pode ser uma distribuição ampla.$P(h|D)$$h$$D$$P(h|D)$$h$$P(h|D)$
• Seja o erro de uma função de perda zero-um ou outra.$E$

O erro esperado de classificação fora do conjunto de treinamento quando a função verdadeira é e a probabilidade para o k é o algoritmo de aprendizado candidato é P k ( h ( x ) | D ) é dado por E k ( E | F , n ) = ∑ x ∉ D P ( x ) [ 1 - δ ( F ( x ) , h ( $F(x)$$k$$P_k(h(x)|D)$

$$\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$$

Teorema 9.1. (Almoço Sem Free) para quaisquer dois aprendizagem algoritmos e P 2 ( h | D ) , a seguir forem verdadeiras, independente da distribuição amostral P ( x ) e o número n de pontos de treinamento:$P_1 (h |D)$$P_2(h|D)$$P(x)$$n$

1. Média uniforme de todas as funções alvo , E 1 ( E | F , n ) - E 2 ( E | F , n ) = $F$$\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n) = 0$

2. Para qualquer conjunto de treinamento fixo , com média uniforme de F , E 1 ( E | F , D ) - E 2 ( E | F , D ) = $D$$F$$\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D) = 0$

A Parte 1 está realmente dizendo

$$\sum_F \sum_D P(D|F) [\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n)] = 0$$

A Parte 2 está realmente dizendo

$$\sum_F [\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D)] = 0$$

Minhas perguntas são

1. Na fórmula de , ou seja, E k ( E | F , n ) = ∑ x ∉ D P ( x ) [ 1 - δ ( F ( x ) , h ( x ) ) ] P k ( h ( x ) | D ) , posso substituir $\mathcal{E}_k(E|F,n)$ $$\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D),$$ com P k ( h | D ) e mova-o para fora da soma ∑ x ∉ D , porque é realmente uma distribuição de h sobre H dada D para o k é oalgoritmo de aprendizado estocástico?$P_k(h(x)|D)$$P_k(h|D)$$\sum_{x \notin D}$$h$$H$$D$$k$
2. Dado que o th algoritmo de aprendizagem candidato é um método estocástico, por que na fórmula de E k ( E | F , n ) , não existe qualquer soma de h , ou seja Σ h ∈ H ?$k$$\mathcal{E}_k(E|F,n)$$h$$\sum_{h \in H}$

3. Qual é a diferença entre e E i ( E | F , n ) ?$\mathcal{E}_i (E|F, D)$$\mathcal{E}_i (E|F, n)$

   Does significa a taxa de erro off-treinamento dado um conjunto de treinamento D ?$\mathcal{E}_i (E|F, D)$$D$

   Does significa a taxa de erro off-formação, média ao longo de todo o conjunto de treinamento dado um tamanho de treinamento n ? Se sim, por que a parte 1 do teorema da NFL média E i ( E | F , n ) sobre os conjuntos de treinamento novamente escrevendo ∑ D , e por que, na fórmula de E k ( E | F , n ) , não há média sobre todo o conjunto de treinamento dado um tamanho de treinamento n ?$\mathcal{E}_i (E|F, n)$$n$$\mathcal{E}_i (E|F, n)$$\sum_D$$\mathcal{E}_k(E|F,n)$$n$

4. Na parte 1 do teorema da NFL, significa somar todos os conjuntos de treinamento com um tamanho fixo de treinamento n ?$\sum_D$$n$
5. Se somar mais todos os valores possíveis em do tamanho de treinamento n na parte 1, o resultado ainda será 0, certo?$\mathbb{N}$$n$
6. Na fórmula de , se eu alterar ∑ x ∉ D para ∑ x , ou seja, x não está necessariamente restrito a estar fora do conjunto de treinamento, as duas partes do teorema da NFL ainda serão verdadeiras?$\mathcal{E}_k(E|F,n)$$\sum_{x \notin D}$$\sum_x$$x$
7. Se a verdadeira relação entre e y não for assumida como uma função determinística F como y = F ( x ) , mas distribuições condicionais P ( y | x ) ou uma distribuição conjunta P ( x , y ) equivalente a conhecendo P ( y | x ) e P ( x ) (também veja minha outra pergunta ), então eu posso mudar E k$x$$y$$F$$y=F(x)$$P(y|x)$$P(x,y)$$P(y|x)$$P(x)$ seja E k ( E | P ( x , y ) , n ) = E x , y [ 1 - δ ( y , h ( x ) ) ] P k ( h ( x ) | D ) (com o estranho P k ( h ( x ) |$\mathcal{E}_k (E|F,n)$ $$\mathcal{E}_k(E|P(x,y),n) = \mathcal{E}_{x,y} [1-\delta(y, h(x))] P_k(h(x)|D)$$ $P_k(h(x)|D)$

Obrigado e cumprimentos!

Vou responder as perguntas que acho que sei as respostas.

1. Esta resposta é não, porque você está escolhendo um $x$ que não fazia parte do ajuste $D$ e entao $h$ depende de $x$.
2. $h$ é avaliado apenas nos valores $x$ no conjunto de teste para obter a taxa de erro esperada, para que não seja avaliada em todo o conjunto $H$ mas apenas no conjunto discreto de $x$está no conjunto de teste.
3. $\mathcal{E}_i(E|F, D)$ é a taxa de erro esperada do conjunto de treinamento, dada a função $F$ e o conjunto de treinamento $D$. Mas$\mathcal{E}_i(E|F, n)$ Eu acho que é diferente porque você está condicionando apenas o número de pontos de treinamento $n$ e não o real $x$valores. Mas isso é intrigante, dadas as declarações subseqüentes.
4. $D$é o conjunto de vetores de treinamento. tem$n$ vetores de treinamento em $D$. Então você está somando o valor fixo$n$ vetores de treinamento em $D$. Existe apenas um conjunto$D$.
5. Eu acho que a resposta para 5 é não. A notação parece um pouco confusa.

Não posso comentar nos dias 6 e 7.