Por que a regressão logística é chamada de algoritmo de aprendizado de máquina?

Se eu entendi corretamente, em um algoritmo de aprendizado de máquina, o modelo precisa aprender com sua experiência, ou seja, quando o modelo fornece uma previsão errada para os novos casos, ele deve se adaptar às novas observações e, com o tempo, o modelo se torna cada vez melhor. . Não vejo que a regressão logística tenha essa característica. Então, por que ainda é considerado um algoritmo de aprendizado de máquina? Qual é a diferença entre regressão logística e regressão normal em termos de "aprendizado"?

Eu tenho a mesma pergunta para florestas aleatórias!

E qual é a definição de "aprendizado de máquina"?

Machine Learning não é um termo bem definido.

De fato, se você pesquisar no Google "Machine Learning Definition", as duas primeiras coisas que você recebe são bem diferentes.

De WhatIs.com ,

O aprendizado de máquina é um tipo de inteligência artificial (IA) que fornece aos computadores a capacidade de aprender sem serem explicitamente programados. O aprendizado de máquina se concentra no desenvolvimento de programas de computador que podem aprender a crescer e mudar quando expostos a novos dados.

Na Wikipedia ,

O aprendizado de máquina explora a construção e o estudo de algoritmos que podem aprender e fazer previsões sobre os dados.

A regressão logística, sem dúvida, se encaixa na definição da Wikipedia e você pode argumentar se ela se encaixa ou não na definição WhatIs.

Eu, pessoalmente, defino o Machine Learning da mesma forma que a Wikipedia e o considero um subconjunto de estatísticas.

O Machine Learning é quente e é onde está o dinheiro. As pessoas chamam de coisas que estão tentando vender o que está quente no momento e, portanto, "vende". Isso pode estar vendendo software. Isso pode ser vender-se como funcionários atuais tentando ser promovidos, como funcionários em potencial, como consultores etc. Isso pode ser um gerente que tenta obter um orçamento aprovado de um figurão da empresa para contratar pessoas e comprar coisas ou convencer os investidores a investir em sua nova e quente startup, que faz o Machine Learning como a chave para criar um aplicativo de sexting aprimorado. O software faz o Machine Learning e as pessoas são especialistas em Machine Learning, porque é isso que está na moda e, portanto, o que vende ... pelo menos por enquanto.

Eu fiz todos os tipos de modelos estatísticos lineares e não lineares que se encaixavam há mais de 30 anos. Não era chamado Machine Learning na época. Agora, a maior parte seria.

Assim como todos e seu tio são agora um "cientista" de dados. Isso é quente, é supostamente sexy, então é assim que as pessoas se chamam. E é isso que os gerentes de contratação que precisam obter orçamento aprovado para contratar alguém listam posições como. Portanto, alguém que não conhece a primeira coisa sobre matemática, probabilidade, estatística, otimização ou computação numérica / de ponto flutuante, usa um pacote R ou Python de correção e robustez duvidosas de implementação e que é rotulado como um algoritmo de aprendizado de máquina, para aplicar a dados que eles não entendem e se autodenominam Cientistas de Dados com base em sua experiência em fazê-lo.

Isso pode parecer irreverente, mas acredito que seja a essência da situação.

Edit: O seguinte foi twittado em 26 de setembro de 2019:

https://twitter.com/daniela_witten/status/1177294449702928384

Daniela Witten @daniela_witten "Quando arrecadamos dinheiro, é IA, quando contratamos seu aprendizado de máquina e, quando fazemos o trabalho, é uma regressão logística."

(Não tenho certeza de quem criou isso, mas é uma jóia 💎)

Como outros já mencionaram, não há uma separação clara entre estatística, aprendizado de máquina, inteligência artificial e assim por diante; portanto, adote qualquer definição com um pouco de sal. A regressão logística provavelmente é mais frequentemente rotulada como estatística do que por aprendizado de máquina, enquanto as redes neurais são rotuladas como aprendizado de máquina (mesmo que as redes neurais sejam frequentemente apenas uma coleção de modelos de regressão logística).

Na minha opinião, o aprendizado de máquina estuda métodos que podem, de alguma forma, aprender com dados, tipicamente construindo um modelo de alguma forma ou forma. A regressão logística, como SVM, redes neurais, florestas aleatórias e muitas outras técnicas, aprende com os dados ao construir o modelo.

Se eu entendi corretamente, em um algoritmo de Machine Learning, o modelo precisa aprender com sua experiência

Não é assim que o aprendizado de máquina é geralmente definido. Nem todos os métodos de aprendizado de máquina produzem modelos que se adaptam dinamicamente a novos dados (esse subcampo é chamado aprendizado online ).

Qual é a diferença entre regressão logística e regressão normal em termos de "aprendizado"?

Muitos métodos de regressão também são classificados como aprendizado de máquina (por exemplo, SVM).

A regressão logística foi inventada pelo estatístico DR Cox em 1958 e, portanto, antecede o campo do aprendizado de máquina. A regressão logística não é um método de classificação, graças a Deus. É um modelo de probabilidade direta.

Se você acha que um algoritmo precisa ter duas fases (palpite inicial, "corrija" a previsão "erros")) considere o seguinte: A regressão logística acerta na primeira vez. Ou seja, no espaço dos modelos aditivos (no logit). A regressão logística é um concorrente direto de muitos métodos de aprendizado de máquina e supera muitos deles quando os preditores agem principalmente de forma aditiva (ou quando o conhecimento do assunto pré-especifica corretamente as interações). Alguns chamam a regressão logística de um tipo de aprendizado de máquina, mas a maioria não o faria. Você pode chamar alguns métodos estatísticos de métodos de aprendizado de máquina (redes neurais são exemplos).

Vou ter que discordar da maioria das respostas aqui e afirmar que o Machine Learningtem um escopo muito preciso e uma distinção clara das estatísticas. O ML é um subcampo da ciência da computação com uma longa história, que somente nos últimos anos encontrou aplicações fora de seu domínio. O campo paterno e o domínio de aplicativos da ML estão dentro da Inteligência Artificial (robótica, software de reconhecimento de padrões etc.), portanto, não é apenas um "termo quente" como "Big Data" ou "Data Science". A estatística, por outro lado, (que vem da palavra "estado") foi desenvolvida nas ciências sociais e econômicas como uma ferramenta para os seres humanos, não para as máquinas. O ML evoluiu separadamente das estatísticas e, embora em algum momento ao longo do caminho tenha começado a confiar fortemente nos princípios estatísticos, não é de forma alguma um subcampo das estatísticas. ML e estatísticas são campos complementares, não sobrepostos.

Resposta longa :

Como está implícito no seu nome, os métodos ML foram feitos para software / máquinas, enquanto os métodos estatísticos foram feitos para humanos. Tanto o ML quanto as estatísticas lidam com previsões sobre os dados, no entanto, os métodos de ML seguem uma abordagem automatizada não paramétrica, enquanto os métodos estatísticos exigem muito trabalho de construção manual de modelos com um fator explicativo adicional. Isso faz todo o sentido se você considerar que os algoritmos ML foram desenvolvidos na pesquisa de IA como um meio de fazer previsões automatizadas que deveriam ser integradas ao software de robótica (por exemplo, para fins de reconhecimento de voz e rosto). Quando uma "máquina" faz uma previsão, ela não se importa com as razões por trás dela. Uma máquina não se importa em conhecer os drivers / preditores por trás de um modelo que classifica o email como spam ou não spam, apenas se preocupa em ter a melhor precisão de previsão.caixas-pretas , não é porque eles não têm um modelo, é porque o modelo é construído algoritmicamente e não deve ser visível para humanos nem para máquinas.

O conceito de "treinamento" em ML baseia-se no poder computacional, enquanto a construção de modelos estatísticos com métodos do tipo OLS para estimativa de parâmetros depende do conhecimento de um especialista humano. Em um cenário de regressão múltipla, é estritamente do estatístico usar seu julgamento especializado para escolher seu modelo e verificar todas as suposições estatísticas necessárias. O objetivo de um estatístico não é apenas encontrar padrões e usá-los para previsões, mas também entender seus dados e seus problemas em uma profundidade muito maior que a ML.

É claro que em algumas ocasiões o ML e as estatísticas se sobrepõem, como é o caso de muitas disciplinas. A regressão logística é uma dessas ocasiões; originalmente um método estatístico, que tem tanta semelhança com o Perceptron simples (uma das técnicas mais fundamentais de ML), que é visto por alguns como um método de ML.

O aprendizado de máquina é muito pouco definido e você está correto ao pensar que os modelos de regressão - e não apenas os de regressão logística - também "aprendem" com os dados. Não tenho muita certeza se isso significa que o aprendizado de máquina é realmente estatística ou estatística é realmente aprendizado de máquina - ou se algo disso importa.

$k$

Dito isso, alguns algoritmos aprendem com erros de previsão - isso é particularmente comum no aprendizado por reforço , em que um agente executa alguma ação, observa seu resultado e depois usa o resultado para planejar ações futuras. Por exemplo, um vácuo robótico pode começar com um modelo do mundo em que limpa todos os locais com a mesma frequência e depois aprender a aspirar lugares sujos (onde é "recompensado" por encontrar sujeira) mais e limpar lugares menos.

Algoritmos on-line ou incrementais podem ser atualizados repetidamente com novos dados de treinamento. Isso não depende necessariamente da precisão da previsão do modelo, mas eu poderia imaginar um algoritmo em que os pesos sejam atualizados de forma mais agressiva se, por exemplo, os novos dados parecerem muito improváveis, dado o modelo atual. Existem versões online para regressão logística: por exemplo, McMahan e Streeeter (2012) .

Eu finalmente descobri. Agora eu sei a diferença entre ajuste estatístico de modelos e aprendizado de máquina.

• Se você ajusta um modelo (regressão), isso é ajuste de modelo estatístico
• Se você aprender um modelo (regressão), isso é aprendizado de máquina

Portanto, se você aprender uma regressão logística, esse é um algoritmo de aprendizado de máquina.

Comentário: Perdoe-me por ser um velhote velho, mas sempre que ouço pessoas falando sobre aprender um modelo ou aprender uma regressão, isso me faz pensar em Jethro "Eu aprendi uma educação para mim".

FIM DA LINHA

A regressão logística (e mais geralmente, o GLM) NÃO pertence ao Machine Learning! Em vez disso, esses métodos pertencem à modelagem paramétrica .

Ambos paramétricos modelos e algorítmicos (ML) usam os dados, mas de maneiras diferentes . Modelos algorítmicos aprendem com os dados como os preditores são mapeados para o preditor e, mas eles não assumem o processo que gerou as observações (nem qualquer outro pressuposto, na verdade). Eles consideram que os relacionamentos subjacentes entre as variáveis ​​de entrada e saída são complexos e desconhecidos e, portanto, adotam uma abordagem orientada a dados para entender o que está acontecendo, em vez de impor uma equação formal.

Por outro lado, modelos paramétricos são prescritos a priori com base em algum conhecimento do processo estudado, usam os dados para estimar seus parâmetros e fazem muitas suposições irrealistas que raramente são válidas na prática (como independência, variação igual e Distribuição normal dos erros).

Além disso, modelos paramétricos (como regressão logística) são modelos globais . Eles não podem capturar padrões locais nos dados (diferentemente dos métodos de ML que usam árvores como seus modelos de base, por exemplo, RF ou Boosted Trees). Veja este documento na página 5. Como estratégia de remediação, o GLM local (ou seja, não paramétrico) pode ser usado (consulte, por exemplo, o pacote locfit R).

Freqüentemente, quando há pouco conhecimento sobre o fenômeno subjacente, é melhor adotar uma abordagem orientada a dados e usar modelagem algorítmica. Por exemplo, se você usar regressão logística em um caso em que a interação entre as variáveis ​​de entrada e saída não seja linear, seu modelo será claramente inadequado e muito sinal não será capturado. No entanto, quando o processo é bem compreendido, os modelos paramétricos têm a vantagem de fornecer uma equação formal para resumir tudo, o que é poderoso do ponto de vista teórico.

Para uma discussão mais detalhada, leia este excelente artigo de Leo Breiman.

Eu acho que as outras respostas fazem um bom trabalho em identificar mais ou menos o que é Machine Learning (como indicam, pode ser uma coisa imprecisa). Acrescentarei que a Regressão Logística (e sua versão multinomial mais geral) é muito comumente usada como um meio de realizar a classificação em redes neurais artificiais (que eu acho que são inequivocamente cobertas por qualquer definição sensata de aprendizado de máquina que você escolher) e, portanto, se você mencionar Regressão logística para uma pessoa da rede neural, é provável que pensem imediatamente nesse contexto. Ficar preso com um rebatedor pesado no aprendizado de máquina é uma boa maneira de se tornar uma técnica de aprendizado de máquina, e acho que, até certo ponto, foi o que aconteceu com várias técnicas de regressão, embora eu não as desconsidere por serem técnicas apropriadas de aprendizado de máquina em si mesmos.

Eu acho que qualquer procedimento "iterativo" pode ser considerado um caso de aprendizado de máquina. A regressão pode ser considerada aprendizado de máquina. Poderíamos fazê-lo manualmente, mas levaria muito tempo, se possível. Então agora temos esses programas, máquinas, que fazem as iterações para nós. Fica cada vez mais perto de uma solução, da melhor solução ou do melhor ajuste. Assim, "aprendizado de máquina". É claro que coisas como redes neurais recebem mais atenção no aprendizado de máquina, por isso geralmente associamos o aprendizado de máquina a esses procedimentos sensuais. Além disso, a diferença entre aprendizado de máquina "supervisionado" e "não supervisionado" é relevante aqui

É um erro muito comum que a maioria das pessoas faz e eu também posso vê-lo aqui (feito por quase todos). Deixe-me explicar em detalhes ... Regressão logística e modelo de regressão linear, ambos são modelo paramétrico, bem como técnica de aprendizado de máquina. Depende apenas do método que você está usando para estimar os parâmetros do modelo (theta). Existem 2 maneiras de encontrar parâmetros de modelo em Regressão Linear e Logística reg.

1. Técnica de descida de gradiente : Aqui começamos atribuindo valores aleatórios aos parâmetros e localizamos a função de custo (erro). Em cada iteração, atualizamos nossos parâmetros e minimizamos a função de custo. Após um certo número de iterações, a função de custo reduzida aos valores desejados e os valores correspondentes dos parâmetros são nossos valores finais. Isto é o que as técnicas de aprendizado de máquina deveriam fazer. Portanto, se você estiver usando a técnica de Descida de gradiente, a regressão logística poderá chamar como uma técnica de aprendizado de máquina.

2. Usando o método dos mínimos quadrados: Aqui temos uma fórmula direta para encontrar nossos parâmetros (é necessária alguma álgebra matricial para entender a derivação dessa fórmula), conhecida como equação normal.

Aqui b representa os parâmetros X é o projeto Matrix. Ambos os métodos têm suas próprias vantagens e limitações. Para obter mais detalhes: siga o curso Coursera Machine Learning ainda em execução.

Espero que este post possa ser útil .. :-)