Se eu quiser um modelo interpretável, existem outros métodos além da regressão linear?

16

Eu encontrei alguns estatísticos que nunca usam modelos diferentes de regressão linear para previsão porque acreditam que "modelos de ML", como floresta aleatória ou aumento de gradiente, são difíceis de explicar ou "não interpretáveis".

Em uma regressão linear, considerando que o conjunto de premissas é verificado (normalidade dos erros, homocedasticidade, sem multicolinearidade), os testes t fornecem uma maneira de testar a significância das variáveis, testes que, a meu conhecimento, não estão disponíveis no florestas aleatórias ou modelos de aumento de gradiente.

Portanto, minha pergunta é se eu quero modelar uma variável dependente com um conjunto de variáveis independentes, por uma questão de interpretabilidade, eu sempre devo usar a regressão linear?

— Vencedor
fonte

6

Depende do que você ainda considera linear. Modelos lineares generalizados e modelos aditivos generalizados ainda funcionam com base na estimativa de um componente linear, mas podem modelar uma ampla variedade de relacionamentos.

— Frans Rodenburg

2

Também depende do que você quer dizer com interpretável. Várias maneiras de 'espiar dentro da caixa preta' foram propostas para modelos de aprendizado de máquina, mas podem ou não ser apropriadas para seus objetivos.

— User20160 12/09/19

5

Não vejo bem o que estatísticas inferenciais e testes t têm a ver com interpretabilidade, que a IMO é principalmente sobre estimativas de coeficientes.

— S. Kolassa - Restabelece Monica

3

@StephanKolassa "Interretabilidade" também pode pertencer à forma de função . Por exemplo, as estimativas de coeficiente produzidas pelo ajuste da curva polinomial fracionária algorítmica em modelos de regressão (se a regressão linear, GLM ou outra coisa), ao obter um bom ajuste , são quase certamente anti-intuitivas: você pode se lembrar da variedade de formas produzidas por modelos da forma

, e, portanto,interpretara relação entre

e

implícito suas estimativas dos coeficientes?

y_{i} = β_{0} + β_{1} x_{i}^{- 3 / 5} + β_{2} x_{i}^{1 / 3} + β_{3} x_{i}^{3} + ε_{i}

$y_{i}=\beta_{0} + \beta_{1}x_{i}^{-3/5} + \beta_{2}x_{i}^{1/3} + \beta_{3}x_{i}^{3} + \varepsilon_{i}$

y

$y$

x

$x$

— Alexis12

2

@UserX O que você descreve ainda é regressão linear (isto é, é linear nos parâmetros). Contraste

com

: o primeiro é um modelo de regressão linear, enquanto o este último não pode ser estimado usando regressão linear.

y_{i} = β_{0} + β_{1} x_{i} + β_{2} x_{i}^{2} + ε_{i}

$y_{i} = \beta_{0} + \beta_{1}x_{i} + \beta_{2}x_{i}^{2} + \varepsilon_{i}$

y_{i} = β_{0} + β_{1} x_{i} + x_{i}^{β_{2}} + ε_{i}

$y_{i} = \beta_{0} + \beta_{1}x_{i} + x_{i}^{\beta_{2}} +\varepsilon_{i}$

— Alexis13 /

28

É difícil para mim acreditar que você ouviu pessoas dizendo isso, porque seria uma coisa estúpida de se dizer. É como dizer que você usa apenas o martelo (incluindo furos e para trocar as lâmpadas), porque é fácil de usar e fornece resultados previsíveis.

Segundo, a regressão linear nem sempre é "interpretável". Se você possui um modelo de regressão linear com muitos termos polinomiais ou apenas muitos recursos, seria difícil de interpretar. Por exemplo, digamos que você tenha usado os valores brutos de cada um dos 784 pixels do MNIST † como recursos. Saber que o pixel 237 tem peso igual a -2311.67 lhe diria algo sobre o modelo? Para dados de imagem, olhar para os mapas de ativação da rede neural convolucional seria muito mais fácil de entender.

Finalmente, existem modelos igualmente interpretáveis, por exemplo, regressão logística, árvores de decisão, algoritmo ingênuo de Bayes e muito mais.

† - Como observado por Ingolifs no comentário e como discutido neste tópico , o MNIST pode não ser o melhor exemplo, pois esse é um conjunto de dados muito simples. Para a maioria dos conjuntos de dados de imagens realistas, a regressão logística não funcionaria e a observação dos pesos não forneceria respostas diretas. Se você olhar mais de perto os pesos no encadeamento vinculado, a interpretação deles também não é direta, por exemplo, os pesos para prever "5" ou "9" não mostram nenhum padrão óbvio (veja a imagem abaixo, copiada do outro encadeamento).

— Tim
fonte

2

Acho que essa resposta faz um bom trabalho, mostrando como a regressão logística no MNIST pode ser explicada com clareza.

— Ingolifs 12/09/19

1

@Ingolifs concorda, mas este é um mapa de ativação, você pode fazer o mesmo pela rede neural.

— Tim

Independentemente do nome, ele fornece uma explicação clara do que a regressão logística está usando para tomar suas decisões de uma maneira que você realmente não obtém para mapas de ativação de redes neurais.

— Ingolifs 13/09/19

1

@Ingolifs MNIST talvez não seja o melhor exemplo, porque é muito simples, mas o ponto é que você usaria o mesmo método para redes neurais.

— Tim

11

Árvore de decisão seria outra opção. Ou Regressão do laço para criar um sistema esparso.

Verifique esta figura do livro Introdução à aprendizagem estatística . http://www.sr-sv.com/wp-content/uploads/2015/09/STAT01.png

— Haitao Du
fonte

O que é o livro "ISL"?

— donlan 13/09/19

1

@donlan amazon.com/… obrigado pela resposta da sugestão revisada.

— Haitao Du

sem problemas! ia procurá-lo depois de ler esta discussão

— Donlan

6

Não, isso é desnecessariamente restritivo. Há uma grande variedade de modelos interpretáveis, incluindo não apenas (como Frans Rodenburg diz) modelos lineares, modelos lineares generalizados e modelos aditivos generalizados, mas também métodos de aprendizado de máquina usados para regressão. Incluo florestas aleatórias, máquinas com gradiente, redes neurais e muito mais. Só porque você não obtém coeficientes de modelos de aprendizado de máquina semelhantes aos das regressões lineares não significa que seu funcionamento não possa ser entendido. É preciso um pouco mais de trabalho.

Para entender o porquê, recomendo a leitura desta pergunta: Obtendo conhecimento de uma floresta aleatória . O que mostra é como você pode abordar tornando quase qualquer modelo de aprendizado de máquina interpretável.

— mkt - Restabelecer Monica
fonte

6

Gostaria de concordar com as respostas de Tim e mkt - os modelos de ML não são necessariamente incompreensíveis. Direcionaria você para o pacote Descritivo mAchine Learning EXplanations, DALEX R, dedicado a tornar os modelos de ML interpretáveis.

— babelproofreader
fonte

1

o pacote DALEX é realmente muito interessante, você sabe se existe algo semelhante para o Python?

— Victor Victor

@ Victor Eu não conheço uma versão Python do DALEX, mas você pode tentar chamar R do Python usando rpy2.readthedocs.io/en/version_2.8.x/introduction.html, por exemplo.

— Babelproofreader 16/09/19