Os hiperplanos classificam os dados de maneira ideal quando as entradas são condicionalmente independentes

9

No artigo chamado Aprendizagem Profunda e o Princípio do Gargalo de Informações, os autores declaram na seção II A) o seguinte:

Neurônios únicos classificam apenas entradas linearmente separáveis, pois podem implementar apenas hiperplanos em seu espaço de entrada . Os hiperplanos podem classificar os dados de maneira ideal quando as entradas são condicionalmente independentes. $u = wh+b$

Para mostrar isso, eles derivam o seguinte. Usando o teorema de Bayes, eles obtêm:

(1) $p(y|x) = \frac{1}{1 + exp(-log\frac{p(x|y)}{p(x|y')} -log\frac{p(y)}{p(y')})}$

Onde é a entrada, é a classe e é a classe prevista (presumo que não definido). Continuando, eles afirmam que: $x$ $y$ $y'$ $y'$

(2) $\frac{p(x|y)}{p(x|y')} = \prod^N_{j=1}[\frac{p(x_j|y)}{p(x_j|y')}]^{np(x_j)}$

Onde é a dimensão de entrada e Não tenho certeza (novamente, ambos são indefinido). Considerando um neurônio sigmoidal, com a função de ativação sigmóide $N$ $n$ e pré-ativação, depois de inserir (2) em (1) obtemos os valores ideais de peso $\sigma(u) = \frac{1}{1+exp(-u)}$ $u$ e $w_j = log\frac{p(x_j|y)}{p(x_j|y')}$ , quando os valores de entrada. $b=log\frac{p(y)}{p(y')}$ $h_j=np(x_j)$

Agora vamos às minhas perguntas. Entendo como inserir (2) em (1) leva ao peso ideal e aos valores de entrada . O que eu não entendo, no entanto, é o seguinte: $w,b,h$

Como (1) é derivado usando o teorema de Bayes?
Como é (2) derivado? O que é ? Qual é o significado disso? Suponho que tenha algo a ver com independência condicional $n$
Mesmo que as dimensões de x sejam condicionalmente independentes, como se pode afirmar que é igual à sua probabilidade escalada? (ou seja, como você pode declarar ?) $h_j=np(x_j)$

EDIT: A variável é uma variável de classe binária. A partir disso, assumo que é a "outra" classe. Isso resolveria a questão 1. Você concorda? $y$ $y'$

bayesian neural-networks information-theory

— spurra
fonte

n p (x_{j})

$n p(x_j)$

5

Desculpe pelos detalhes que faltam em nosso breve artigo, mas essas relações e conexões entre o teste da Razão de Verossimilhança e os neurônios sigmoidais certamente não são novas e podem ser encontradas em livros didáticos (por exemplo, Bishop 2006). Em nosso artigo, 'N' é a dimensão de entrada e 'n' é o tamanho da amostra de teste (que na verdade é traduzida para o SNR de entrada sob a suposição de que o SNR cresce como sqrt (n)). A conexão com a função sigmoidal é feita através da regra de Bayes, como a parte posterior da classe. Nada no restante do artigo e nosso artigo mais recente e mais importante de 2017 realmente depende disso.

Naftali Tishby

— Naftali Tishby
fonte

2

Obrigado por esclarecer isso aqui. É prática padrão nesta comunidade escrever citações completas para que os leitores interessados possam procurar as fontes. Você poderia fazer isso por Bishop (2006)?

— mkt - Restabelece Monica

4

Por 1

$P(y \mid x) = \frac{P(y, x)}{P(x)}$

$= \frac{P(y,x)}{\sum_{i}P(y_{i},x)}$

$y_{i}$

$= \frac{P(y,x)}{P(y,x)+P(y',x)}$

$= \frac{1}{1+\frac{P(y',x)}{P(y,x)}}$

$= \frac{1}{1+exp[-log \ \frac{P(y,x)}{P(y',x)}]}$

e a partir daí é apenas a propriedade do logaritmo chegar à forma final (deve estar suficientemente claro nesse ponto, deixe-me saber se não).

— Chris Ormandy
fonte

4

Essa é uma configuração de modelo em que os autores estão usando uma forma especial do teorema de Bayes que se aplica quando você tem uma variável binária de interesse. Eles primeiro derivam essa forma especial do teorema de Bayes como Equação (1) e depois mostram que a condição na Equação (2) os leva à forma linear especificada para sua rede. É importante observar que a última equação não é derivada de condições anteriores - é uma condição para a forma linear que eles estão usando para sua rede.

$y$ $y'$ $Y$

\begin{aligned} p (y | x) = \frac{p (y, x)}{p (x)} & = \frac{p (x | y) p (y)}{p (x | y) p (y) + p (x | y^{'}) p (y^{'})} \\ = \frac{1}{1 + p (x | y^{'}) p (y^{'}) / p (x | y) p (y)} \\ = \frac{1}{1 + \exp (\log (\frac{p (x | y^{'}) p (y^{'})}{p (x | y) p (y)}))} \\ = \frac{1}{1 + \exp (- \log \frac{p (x | y)}{p (x | y^{'})} - \log \frac{p (y)}{p (y^{'})})} \\ = logistic (\log \frac{p (x | y)}{p (x | y^{'})} + \log \frac{p (y)}{p (y^{'})}) . \end{aligned}

$\begin{equation} \begin{aligned} p(y|\mathbf{x}) = \frac{p(y,\mathbf{x})}{p(\mathbf{x})} &= \frac{p(\mathbf{x}|y) p(y)}{p(\mathbf{x}|y) p(y)+p(\mathbf{x}|y') p(y')} \\[6pt] &= \frac{1}{1+ p(\mathbf{x}|y') p(y')/p(\mathbf{x}|y) p(y)} \\[6pt] &= \frac{1}{1+ \exp \Big( \log \Big( \tfrac{p(\mathbf{x}|y') p(y')}{p(\mathbf{x}|y) p(y)} \Big) \Big)} \\[6pt] &= \frac{1}{1+ \exp \Big( - \log \tfrac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} - \log \tfrac{p(y)}{p(y')} \Big)} \\[6pt] &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg). \\[6pt] \end{aligned} \end{equation}$

$\mathbf{x} = (x_1,...,x_N)$ $N$

\begin{aligned} \log \frac{p (x | y)}{p (x | y^{'})} & = \log \prod_{i = 1}^{N} [\frac{p (x_{i} | y)}{p (x_{i} | y^{'})}]^{n p (x_{i})} \\ = \sum_{i = 1}^{N} n p (x_{i}) \log [\frac{p (x_{i} | y)}{p (x_{i} | y^{'})}] \\ = \sum_{i = 1}^{N} h_{i} w_{i} . \end{aligned}

$\begin{equation} \begin{aligned} \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} &= \log \prod_{i=1}^N \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big]^{n p (x_i)} \\[6pt] &= \sum_{i=1}^N n p (x_i) \log \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big] \\[6pt] &= \sum_{i=1}^N h_i w_i. \\[6pt] \end{aligned} \end{equation}$

Sob essa condição, obtemos, portanto, a forma posterior:

\begin{aligned} p (y | x) & = logistic (\log \frac{p (x | y)}{p (x | y^{'})} + \log \frac{p (y)}{p (y^{'})}) \\ = logistic (\sum_{i = 1}^{N} h_{i} w_{i} + b), \end{aligned}

$\begin{equation} \begin{aligned} p(y|\mathbf{x}) &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg) \\[6pt] &= \text{logistic} \Bigg( \sum_{i=1}^N h_i w_i + b \Bigg), \\[6pt] \end{aligned} \end{equation}$

$n$ $\mathbf{x}$ $y$

— Ben - Restabelecer Monica
fonte

n

$n$

Obrigado - editei minha resposta para refletir essas informações adicionais.

— Ben - Restabelece Monica

Os hiperplanos classificam os dados de maneira ideal quando as entradas são condicionalmente independentes - Por quê?