O que significa "compartilhar parâmetros entre recursos e classes"

Ao ler este artigo, há uma linha que diz "classificadores lineares não compartilham parâmetros entre recursos e classes". Qual é o significado desta afirmação? Isso significa que classificadores lineares, como a regressão logística, precisam de recursos que sejam mutuamente independentes?

machine-learning logistic-regression multilabel-classification

— joydeep bhattacharjee
fonte

Tentarei responder a essa pergunta por meio de regressão logística , um dos classificadores lineares mais simples.

O caso mais simples de regressão logística é se tivermos uma tarefa de classificação binária ( $y \in\{0,1\})$ e apenas um recurso de entrada ( $x \in R$ ). Nesse caso, a saída da regressão logística seria:

\hat{y} = σ (W \cdot x + b)

$\hat y = σ(w \cdot x + b)$ que e são ambos escalares . A saída do modelo corresponde à probabilidade de que seja da classe .

w

$w$

b

$b$

\hat{y} \in [0, 1]

$\hat y \in [0,1]$

x

$x$

1

$1$

Vamos tentar dividir a frase "classificadores lineares não compartilham parâmetros entre recursos e classes" em duas partes. Examinaremos os casos de vários recursos e várias classes separadamente para ver se a regressão logística compartilha parâmetros para qualquer uma dessas tarefas:

Os classificadores lineares compartilham parâmetros entre os recursos?

Nesse caso, para cada exemplo, é um escalar que aceita valores binários (como antes), enquanto é um vetor de comprimento (onde é o número de recursos). Aqui, a saída é uma combinação linear dos recursos de entrada (ou seja, uma soma ponderada desses recursos mais os desvios). $y$ $x$ $N$ $N$

\hat{y} = σ (\sum_{Eu}^{N} (W_{Eu} \cdot x_{Eu}) + b) o r σ (W \cdot x + b)

$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$ onde e são vectores de comprimento . O produto produz um escalar. Como você pode ver acima, há um peso separado para cada recurso de entrada e esses pesos são independentes em todos os . A partir disso, podemos concluir que não há compartilhamento de parâmetros entre os recursos .

x

$\mathbf x$

w

$\mathbf w$

N

$N$

x \cdot w

$\mathbf x \cdot \mathbf w$

w_{i}

$w_i$

x_{i}

$x_i$

Classificadores lineares compartilham parâmetros entre classes?

Nesse caso, é um escalar, no entanto, é um vetor de comprimento (onde é o número de classes). Para resolver isso, a regressão logística produz essencialmente uma saída separada para cada uma das classesCada saída é um escalar e corresponde à probabilidade de pertencer à classe . $x$ $y$ $M$ $M$ $y_j$ $M$ $y_j \in [0,1]$ $x$ $j$

\hat{y} = W \cdot x + b, W h e r e \hat{y} = {\hat{y}}_{1}, {\hat{y}}_{2}, . . ., y_{M}

$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$

A maneira mais fácil de pensar nisso é como simples regressões logísticas independentes, cada uma com uma saída de: $M$

{\hat{y}}_{j} = σ (W_{j} \cdot x + b_{j})

$\hat y_j = σ(w_j \cdot x + b_j)$

Pelo exposto, é óbvio que nenhum peso é compartilhado entre as diferentes classes .

multi-recurso e multi-classe :

Ao combinar os dois casos acima, podemos finalmente chegar ao caso mais geral de vários recursos e várias classes:

\hat{y} = σ (W \cdot x + b)

$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$ onde é um vetor com o tamanho , é um vetor com o tamanho de , é um vetor com um tamanho de e é uma matriz com um tamanho de .

\hat{y}

$\mathbf{ \hat y}$

M

$M$

x

$\mathbf x$

N

$N$

b

$\mathbf b$

M

$M$

W

$W$

(N \times M)

$(N \times M)$

Em qualquer caso, os classificadores lineares não compartilham nenhum parâmetro entre recursos ou classes .

Para responder à sua segunda pergunta, os classificadores lineares têm uma suposição subjacente de que os recursos precisam ser independentes ; no entanto, não é isso que o autor do artigo pretende dizer.

— Djib2011
fonte

Boa explicação. :)

— joydeep bhattacharjee