Qual é a diferença entre regressão logística e redes neurais?

Como explicamos a diferença entre regressão logística e rede neural para um público que não tem formação em estatística?

Suponho que você esteja pensando no que costumava ser, e talvez ainda seja referido como 'perceptrons multicamada' na sua pergunta sobre redes neurais. Nesse caso, eu explicaria tudo em termos de flexibilidade sobre a forma do limite de decisão em função de variáveis ​​explicativas. Em particular, para esse público, eu não mencionaria funções de link / probabilidades de log etc. Apenas mantenha a ideia de que a probabilidade de um evento está sendo prevista com base em algumas observações.

Aqui está uma sequência possível:

• Certifique-se de que eles saibam qual é a probabilidade prevista, conceitualmente falando. Mostre-o como uma função de uma variável no contexto de alguns dados familiares. Explique o contexto de decisão que será compartilhado por regressão logística e redes neurais.
• Comece com regressão logística. Declare que é o caso linear, mas mostre a linearidade do limite de decisão resultante usando um gráfico de calor ou contorno das probabilidades de saída com duas variáveis ​​explicativas.
• Observe que duas classes podem não estar bem separadas pelo limite que veem e motivam um modelo mais flexível para criar um limite mais curvilíneo. Se necessário, mostre alguns dados que seriam bem diferenciados dessa maneira. (É por isso que você começa com 2 variáveis)
• Observe que você pode começar a complicar o modelo linear original com termos extras, como quadrados ou outras transformações, e talvez mostrar os limites que eles geram.
• Mas descarte-as, observando que você não sabe antecipadamente qual deve ser a forma da função e prefere aprender com os dados. Assim que eles ficarem entusiasmados com isso, observe a impossibilidade disso em total generalidade e sugira que você fique feliz em supor que deve ser pelo menos 'suave' em vez de 'instável', mas de outro modo determinado pelos dados. (Afirme que eles provavelmente já estavam pensando apenas em limites suaves, da mesma maneira que estiveram falando em prosa a vida toda).
• Mostre a saída de um modelo de aditivo generalizado em que a probabilidade de saída é uma função conjunta do par de variáveis ​​originais em vez de uma verdadeira combinação de aditivos - isso é apenas para fins de demonstração. Importante, chame isso de mais suave, porque isso é legal e geral e descreve as coisas intuitivamente. Demonstre o limite de decisão não linear na figura como antes.
• Observe que este (atualmente anônimo) mais suave tem um parâmetro de suavidade que controla o quão suave é realmente; consulte isso de passagem como uma crença anterior sobre a suavidade da função, transformando as variáveis ​​explicativas na probabilidade prevista. Talvez mostre as consequências de diferentes configurações de suavidade no limite de decisão.
• Agora introduza a rede neural como um diagrama. Saliente que a segunda camada é apenas um modelo de regressão logística, mas também aponta a transformação não linear que ocorre nas unidades ocultas. Lembre ao público que essa é apenas outra função da entrada para a saída que não será linear em seu limite de decisão.
• Observe que ele possui muitos parâmetros e que alguns deles precisam ser constrangidos para estabelecer um limite de decisão suave - reintroduz a idéia de um número que controla a suavidade como o mesmo número (conceitualmente falando) que mantém os parâmetros ligados e distantes Valores extremos. Observe também que, quanto mais unidades ocultas, mais tipos diferentes de formas funcionais podem ser executadas. Para manter a intuição, fale sobre unidades ocultas em termos de flexibilidade e restrição de parâmetros em termos de suavidade (apesar da negligência matemática dessa caracterização)
• Em seguida, surpreenda-os afirmando que você ainda não conhece a forma funcional e deseja ser infinitamente flexível adicionando um número infinito de unidades ocultas. Deixe a impossibilidade prática disso afundar um pouco. Então observe que esse limite pode ser considerado na matemática e pergunte (retoricamente) como seria essa coisa.
• Responda que seria mais suave novamente (um processo gaussiano, por acaso; Neal, 1996, mas esse detalhe não é importante), como o que eles viram antes. Observe que há novamente uma quantidade que controla a suavidade, mas nenhum outro parâmetro específico (integrado para aqueles que se preocupam com esse tipo de coisa).
• Conclua que as redes neurais são implementações particulares, implicitamente limitadas, de múmias comuns, que são extensões não lineares, não necessariamente aditivas, do modelo de regressão logística. Em seguida, faça o contrário, concluindo que a regressão logística é equivalente a um modelo de rede neural ou mais suave, com o parâmetro de suavização definido como 'extra extra suave', ou seja, linear.

As vantagens dessa abordagem é que você não precisa realmente entrar em nenhum detalhe matemático para dar a idéia correta. De fato, eles não precisam entender nem a regressão logística nem as redes neurais para entender as semelhanças e diferenças.

A desvantagem da abordagem é que você precisa fazer muitas fotos e resistir fortemente à tentação de cair na álgebra para explicar as coisas.

Para um resumo mais simples:

Regressão logística: a forma mais simples de Rede Neural, que resulta em limites de decisão que são uma linha reta

Redes neurais: um superconjunto que inclui regressão logística e também outros classificadores que podem gerar limites de decisão mais complexos.

(nota: estou me referindo à regressão logística "simples", sem a assistência de kernels integrais)

(referência: deeplearning.ai cursos de Andrew Ng, "Regressão logística como rede neural" e "Classificação de dados planares com uma camada oculta")

Vou fazer a pergunta literalmente: alguém sem formação em estatística. E não vou tentar dar a essa pessoa um histórico em estatística. Por exemplo, suponha que você precise explicar a diferença para o CEO de uma empresa ou algo assim.

Portanto: a regressão logística é uma ferramenta para modelar uma variável categórica em termos de outras variáveis. Ele fornece maneiras de descobrir como as alterações em cada uma das "outras" variáveis ​​afetam as chances de resultados diferentes na primeira variável. A saída é bastante fácil de interpretar.

As redes neurais são um conjunto de métodos para permitir que um computador tente aprender com exemplos de maneiras que se assemelham vagamente à maneira como os humanos aprendem sobre as coisas. Pode resultar em modelos que são bons preditores, mas geralmente são muito mais opacos do que os da regressão logística.

Foi-me ensinado que você pode pensar em redes neurais (com funções de ativação logística) como uma média ponderada de funções de logit, com os pesos estimados. Ao escolher um grande número de logits, você pode ajustar qualquer forma funcional. Há alguma intuição gráfica na postagem do blog Econometric Sense .

As outras respostas são ótimas. Eu simplesmente adicionaria algumas imagens mostrando que você pode pensar em regressão logística e regressão logística multi-classe (aka maxent, regressão logística multinomial, regressão softmax, regressão máxima de entropia) como uma arquitetura especial de redes neurais.

De Sebastian Raschka, Michigan State University, no KDnuggets :

Mais algumas ilustrações para a regressão logística multi-classe:

Uma ilustração semelhante extraída de http://www.deeplearningbook.org/ capítulo 1:

E mais um dos tutoriais do TensorFlow :

Por exemplo, no Caffe , você implementaria a regressão logística da seguinte maneira :

Eu usaria um exemplo de um problema complicado, mas concreto, que o público entende. Use nós ocultos cujas interpretações não são treinadas, mas têm significados particulares.

$64 \times 12$

A regressão linear determina como é bom ter um cavaleiro branco em h4. Pode não ser óbvio que é bom, mas se estiver no h4, não foi capturado, o que provavelmente supera outras considerações. A regressão linear provavelmente recupera os valores aproximados das peças, e é melhor colocá-las em direção ao centro do tabuleiro e do lado do adversário. A regressão linear é incapaz de avaliar combinações, como que sua rainha em b2 é subitamente mais valiosa se o rei oponente estiver em a1.

Uma rede neural poderia ter nós ocultos para conceitos, como "vantagem material", "segurança do rei negro", "controle do centro", "duas torres no arquivo d", "peão ​​isolado da torre da rainha" ou "bispo" mobilidade." Alguns deles podem ser estimados apenas a partir das entradas da placa, enquanto outros podem ter que estar em uma segunda ou mais tarde camada oculta. A rede neural pode usá-los como entradas para a avaliação final da posição. Esses conceitos ajudam um especialista a avaliar uma posição; portanto, uma rede neural deve ser capaz de avaliações mais precisas do que uma regressão linear. No entanto, é preciso mais trabalho para criar a rede neural, pois você precisa escolher sua estrutura e ela tem muitos outros parâmetros para treinar.