As redes neurais aprendem uma função ou uma função de densidade de probabilidade?

A pergunta pode parecer um pouco estranha, porque sou novo na inferência estatística e nas redes neurais.

Quando em problemas de classificação usando redes neurais, dizemos que queremos aprender uma função que mapeia o espaço das entradas , para o espaço das saídas : $f^*$ $x$ $y$

f^{*} (x; θ) = y

$f^*(x; \theta) = y$

Estamos ajustando os parâmetros ( ) para modelar uma função não linear ou para modelar uma função de densidade de probabilidade? $\theta$

Eu realmente não sei como escrever a pergunta de uma maneira melhor. Eu li várias vezes as duas coisas (função densidade de probabilidade, ou função assim), portanto, portanto, minha confusão.

machine-learning neural-networks

— sdiabr
fonte

Respostas:

A rigor, as redes neurais estão ajustando uma função não linear.

Elas podem ser interpretadas como ajustando uma função de densidade de probabilidade se funções de ativação adequadas forem escolhidas e determinadas condições forem respeitadas (os valores devem ser positivos e 1, etc ...). Mas essa é uma questão de como você escolhe interpretar a saída deles, não o que eles estão realmente fazendo. Sob o capô, eles ainda são estimadores de funções não lineares, que você escolhe aplicar ao problema específico da estimativa de PDF. $\leq$

— Skander H.
fonte

@sdiabr, na verdade, você não usaria o limite se quisesse que a rede simulasse um pdf - já que um pdf pode ter outros valores além de 1 e 0. Com esse limite, ele se torna um classificador direto.

— Skander H.

A maneira correta de analisar isso é que o limiar é um problema externo ao que é aprendido na rede. Não respeitar essa distinção causa muitos problemas nas aplicações de ML para problemas do mundo real.

— Matthew Drury

Sim, ok, eu entendo. Então, esquecendo o limiar, então eu estaria modelando um pdf? Acho que fiquei confuso com o limiar porque li algo sobre modelagem de uma distribuição de Bernouilli. No entanto, sem o limiar, isso já é Bernoilli, certo? No caso temos apenas um nó de saída com uma função de activação sigmóide, que seria a saída 0 ou 1, com uma probabilidade p ou (1-p)

— sdiabr

Sim, fiquei confuso novamente, obrigado @CagdasOzgenc. Vamos tentar novamente: usando uma função sigmóide na camada de saída, estamos modelando diretamente um pdf, certo? seguindo qualquer distribuição que possa aprender a seguir.

— Sdiabr

Você não está, no entanto, aprendendo sobre a distribuição de probabilidade dos coeficientes desconhecidos; portanto, não está aprendendo sobre a distribuição preditiva posterior.

— Equilíbrio Brash

Geralmente, redes neurais não são usadas para modelar densidades completas de probabilidade. Seu foco é apenas modelar a média de uma distribuição (ou em uma situação determinística simplesmente uma função não linear). No entanto, é muito possível modelar densidades completas de probabilidade via Redes Neurais.

Uma maneira fácil de fazer isso é, por exemplo, para um caso gaussiano: emitir a média de uma saída e a variação de outra saída da rede e, em seguida, minimizar funciona como parte de o processo de treinamento em vez do erro quadrado comum. Esse é o procedimento de probabilidade máxima para uma rede neural. $-log N(y | x ;\mu,\sigma)$

Depois de treinar essa rede toda vez que você conectar um valor como entrada, ele fornecerá e ; então, você poderá conectar todo o trigêmeo à densidade para obter o valor da densidade para qualquer você desejar. Nesse estágio, você pode escolher qual valor usar com base em uma função de perda de domínio real. É importante lembrar que, para a ativação da saída deve ser irrestrita, para que você possa emitir $x$ $\mu$ $\sigma$ $y,\mu,\sigma$ $f(y|x)\sim N(\mu,\sigma)$ $y$ $y$ $\mu$ para enquanto deve ser apenas uma ativação positiva. $-\inf$ $+\inf$ $\sigma$

Em geral, a menos que seja uma função determinística que buscamos, o treinamento padrão para perda ao quadrado usado em redes neurais é praticamente o mesmo procedimento que descrevi acima. Sob o capô um distribuição assume-se implicitamente sem se preocupar com o e se examinar cuidadosamente dá-lhe uma expressão para perda quadrado ( A perda função do estimador de máxima verossimilhança gaussiana ). Nesse cenário, no entanto, em vez de um $Gaussian$ $\sigma$ $-log N(y|x;\mu,\sigma)$ $y$ valor ao seu gosto, você está sempre emitindo sempre que recebe um novo valor . $\mu$ $x$

Para a classificação, a saída será uma distribuição em vez de um , que tem um único parâmetro a emitir. Conforme especificado na outra resposta, esse parâmetro está entre e modo que a ativação da saída deve ser adequada. Pode ser uma função logística ou outra coisa que atinja o mesmo objetivo. $Bernoulli$ $Gaussian$ $0$ $1$

Uma abordagem mais sofisticada são as redes de densidade de mistura do Bishop. Você pode ler sobre isso no artigo frequentemente mencionado aqui:

https://publications.aston.ac.uk/373/1/NCRG_94_004.pdf

— Cagdas Ozgenc
fonte

Ouch, você me venceu 😀 Eu queria citar as MDNs de Bishop ... também há outra maneira de fazer com que a Neural Networks produza pdfs, o que é obviamente o paradigma bayesiano. Vou escrever uma resposta sobre isso.

— DeltaIV

Outro papel divertido em redes densidade mistura, usado para prever condições de surf: icml.cc/Conferences/2005/proceedings/papers/...

— Matthew Drury

Deveria mudar "todo o trigêmeo y, µ, σ" para "todo o trigêmeo x, µ, σ"?

— moh

@moh no. x é dado e não aparecerá na densidade.

— Cagdas Ozgenc # 12/18

Minha resposta dissidente é que, nas aplicações práticas mais impressionantes (aquelas onde eles obtêm mais cobertura na mídia, por exemplo), não é a função nem as probabilidades. Eles implementam a tomada de decisão estocástica.

Na superfície, parece que NN está apenas ajustando a função, na fila da referência de aproximação universal . Em alguns casos, quando determinadas funções de ativação e suposições específicas, como erros gaussianos, são usadas ou quando você lê artigos em redes bayesianas, parece que o NN pode produzir as distribuições de probabilidade.

No entanto, tudo isso é apenas a propósito. O que a NN pretende fazer é modelar a tomada de decisão. Quando um carro é dirigido por IA, seu NN não está tentando calcular a probabilidade de ter um objeto à sua frente, então, dado que existe um objeto para calcular a probabilidade de ser humano. Nem está calculando o mapeamento das entradas do sensor para vários tipos de objetos. Não, o NN deve tomar uma decisão com base em todas as informações para dirigir para o lado ou continuar dirigindo. Não está calculando a probabilidade, está dizendo ao carro o que fazer.

— Aksakal
fonte