Estou estudando aprendizado de máquina e sinto que há uma forte relação entre o conceito de dimensão VC e o conceito mais clássico (estatístico) de graus de liberdade.
Alguém pode explicar essa conexão?
Relação entre dimensão VC e graus de liberdade
Respostas:
Como afirma o Prof Yaser Abu-Mostafa-
Graus de liberdade são uma abstração do número efetivo de parâmetros. O número efetivo é baseado em quantas dicotomias se pode obter, em vez de quantos parâmetros com valor real são usados. No caso do perceptron bidimensional, pode-se pensar em inclinação e interceptação (mais um grau binário de liberdade para o qual a região vai para +1), ou pode-se pensar em 3 parâmetros w_0, w_1, w_2 (embora os pesos possam ser simultaneamente aumentado ou diminuído sem afetar a hipótese resultante). Os graus de liberdade, no entanto, são 3 porque temos a flexibilidade de quebrar 3 pontos, não por uma maneira ou outra de contar o número de parâmetros.
Eu acho que essa é uma definição não padronizada de graus de liberdade!
—
Kjetil b halvorsen
A dimensão VC é muito bem explicada neste artigo na Seção 2.1 e mais, com os lemas e as provas básicos fornecidos. Você pode passar por isso.