Como calcular a dimensão VC?

Estou estudando aprendizado de máquina e gostaria de saber como calcular a dimensão VC.

Por exemplo:

$h(x)=\begin{cases} 1 &\mbox{if } a\leq x \leq b \\ 0 & \mbox{else } \end{cases}$ , com os parâmetros$(a,b) ∈ R^2$ .

Qual é a dimensão VC dele?

A dimensão VC é uma estimativa da capacidade de um classificador binário. Se você puder encontrar um conjunto de pontos, para que ele possa ser quebrado pelo classificador (ou seja, classifique corretamente todas as 2 n etiquetas possíveis ) e não poderá encontrar nenhum conjunto de n + 1 pontos que possam ser quebrados (ou seja, para qualquer conjunto de n + 1 pontos, há pelo menos uma ordem de rotulagem para que o classificador não possa separar todos os pontos corretamente), então a dimensão VC é n .$n$$2^n$$n+1$$n+1$$n$

No seu caso, primeiro considere dois pontos e x 2 , de modo que x 1 < x 2 . Depois, existem 2 2 = 4 rotulações possíveis$x_1$$x_2$$x_1 < x_2$$2^2=4$

1. , x 2 : $x_1:1$$x_2:1$
2. , x 2 : $x_1:0$$x_2:0$
3. , x 2 : $x_1:1$$x_2:0$
4. , x 2 : $x_1:0$$x_2:1$

Todas as etiquetas podem ser obtidas através do classificador , definindo os parâmetros a < b ∈ R de modo que$h$$a<b \in R$

1. $a<x_1<x_2<b$
2. $x_1<x_2<a<b$
3. $a<x_1<b<x_2$
4. $x_1<a<x_2<b$

respectivamente. (Na verdade, pode ser assumido WLOG mas é suficiente para encontrar um conjunto que pode ser quebrado.)$x_1 < x_2$

Agora, considere três pontos arbitrários (!) , x 2 , x 3 e o wlog assume x 1 < x 2 < x 3 , então você não pode obter o rótulo (1,0,1). Como no caso 3 acima, os rótulos x 1 : 1 ex 2 : 0 implicam a < x 1 < b < x 2 . O que implica x 3 > be, portanto, o rótulo de x $x_1$$x_2$$x_3$$x_1<x_2<x_3$$x_1$$x_2$$a<x_1<b<x_2$$x_3$$x_3$ deve ser 0. Portanto, o classificador não pode quebrar nenhum conjunto de três pontos e, portanto, a dimensão VC é 2.

-

Talvez fique mais claro com um classificador mais útil. Vamos considerar hiperplanos (isto é, linhas em 2D).

É fácil encontrar um conjunto de três pontos que podem ser classificados corretamente, independentemente de como eles são rotulados:

Para todas as marcações possíveis , podemos encontrar um hiperplano que as separa perfeitamente.$2^3=8$

No entanto, não podemos encontrar nenhum conjunto de 4 pontos para que possamos classificar corretamente todas as rotulações possíveis. Em vez de uma prova formal, tento apresentar um argumento visual:$2^4=16$

Suponha, por enquanto, que os 4 pontos formem uma figura com 4 lados. É impossível encontrar um hiperplano que possa separar os pontos corretamente se rotularmos os cantos opostos com o mesmo rótulo:

Se eles não formarem uma figura com 4 lados, existem dois "casos de limite": Os pontos "externos" devem formar um triângulo ou todos formar uma linha reta. No caso do triângulo, é fácil ver que a rotulagem onde o ponto "interno" (ou o ponto entre dois cantos) é rotulado diferente dos outros não pode ser alcançada:

No caso de um segmento de linha, a mesma ideia se aplica. Se os pontos finais forem rotulados de maneira diferente de um dos outros pontos, eles não poderão ser separados por um hiperplano.

Como cobrimos todas as formações possíveis de 4 pontos em 2D, podemos concluir que não há 4 pontos que possam ser quebrados. Portanto, a dimensão VC deve ser 3.

A dimensão VC de um classificador é determinada da seguinte maneira:

VC = 1
found = False
while True:
    for point_distribution in all possible point distributions of VC+1 points:
        allcorrect = True
        for classdist in every way the classes could be assigned to the classes:
            adjust classifier
            if classifier can't classify everything correct:
                allcorrect = False
                break
        if allcorrect:
            VC += 1
            continue
    break

Portanto, deve haver apenas uma maneira de colocar três pontos, de modo que todas as distribuições de classe possíveis entre essa colocação de pontos possam ser classificadas da maneira correta.

Se você não colocar os três pontos em uma linha, a percepção acertará. Mas não há como obter que a percepção classifique todas as distribuições de classes possíveis de 4 pontos, não importa como você os coloque

Seu exemplo

$\mathbb{R}$

VC-Dimension 2: pode classificar todas as quatro situações corretamente.

1. Pontos: 0 e 42
2. Distribuições:
   • $a = 1337, b=3141$
   • $a = 40, b = 1337$
   • $a = -1, b = 1$
   • $a = -1, b = 1337$

VC-Dimensão 3: Não, isso não funciona. Imagine as aulas truee falsesendo ordenadas como True False True. Seu classificador não pode lidar com isso. Portanto, ele tem uma dimensão VC de 2.

Prova

$x_1, x_2, x_3 \in \mathbb{R}$$x_1 < x_2 < x_3$

$x_1$$x_2$$x_3$

$x_1$

$$a \leq x_1 \leq b$$ $x_2$ $$x_2 < a \qquad\text{ or }\qquad b < x_2$$ $a \leq x_1$$x_1 < x_2$$b < x_2$ $$a \leq x_1 \leq b < x_2 < x_3$$ $x_3$ $$a \leq x_3 \leq b$$ $b < x_3$. Portanto, não é possível classificar todas as distribuições de classe de três pontos corretamente com este classificador. Portanto, ele não possui a dimensão 3 do VC.