Diferenças entre regressão logística e perceptrons


16

Pelo que entendi, uma rede neural artificial de perceptron / camada única com uma função de ativação sigmóide logística é o mesmo modelo que a regressão logística. Ambos os modelos são dados pela equação:

F(x)=11-e-βX

O algoritmo de aprendizado do perceptron é on-line e orientado a erros, enquanto os parâmetros para regressão logística podem ser aprendidos usando uma variedade de algoritmos em lote, incluindo descida de gradiente e BFGS de memória limitada ou um algoritmo on-line, como descida de gradiente estocástica. Existem outras diferenças entre a regressão logística e um perceptron sigmóide? Os resultados de um regressor logístico treinado com descida do gradiente estocástico devem ser semelhantes ao perceptron?


2
Parece que este questão é semelhante, e parece conter melhores respostas :)
Ralph Tigoumo

Respostas:


1

Você já mencionou as diferenças importantes. Portanto, os resultados não devem diferir muito.


1
Isso não fornece uma resposta para a pergunta. Para criticar ou solicitar esclarecimentos a um autor, deixe um comentário abaixo da postagem.
Xi'an

1
Na verdade, tentei responder às duas perguntas: 1) "Existem outras diferenças entre a regressão logística e um perceptron sigmoide?" e 2) "Os resultados de um regressor logístico treinado com descida do gradiente estocástico devem ser semelhantes ao perceptron?"
22416 Michael Dorner #

7
Essa é uma posição razoável, @ MichaelDorner. Você se importaria de expandir um pouco sua resposta para deixar isso mais claro?
gung - Restabelece Monica

3

Acredito que uma diferença que você está perdendo é o fato de que a regressão logística retorna uma probabilidade de classificação baseada em princípios, enquanto os perceptrons são classificados com um limite rígido.

Isso é mencionado no artigo da Wiki sobre regressão logística multinomial .


2

Na verdade, há uma grande diferença substancial, relacionada às diferenças técnicas que você mencionou. A regressão logística modela uma função da média de uma distribuição de Bernoulli como uma equação linear (a média é igual à probabilidade p de um evento de Bernoulli). Usando o link logit como uma função da média ( p ), o logaritmo das probabilidades (log-probabilidades) pode ser derivado analiticamente e usado como resposta do chamado modelo linear generalizado. A estimativa de parâmetros neste GLM é, então, um processo estatístico que gera valores de p e intervalos de confiança para os parâmetros do modelo. Além da previsão, isso permite que você interprete o modelo em inferência causal. Isso é algo que você não pode alcançar com um Perceptron linear.

O Perceptron é um processo de engenharia reversa de regressão logística: em vez de pegar o logit de y, ele assume a função logit inversa (logística) de wx , e não usa premissas probabilísticas para o modelo nem para a estimativa de parâmetros. O treinamento on-line fornecerá exatamente as mesmas estimativas para os pesos / parâmetros do modelo, mas você não poderá interpretá-los em inferência causal devido à falta de valores-p, intervalos de confiança e, bem, um modelo de probabilidade subjacente.

Para encurtar a história, a regressão logística é um GLM que pode executar predição e inferência, enquanto o Perceptron linear pode obter predição (nesse caso, ele executará o mesmo que a regressão logística). A diferença entre os dois também é a diferença fundamental entre modelagem estatística e aprendizado de máquina.

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.