Abordando a incerteza do modelo

25

Fiquei imaginando como os bayesianos da comunidade CrossValidated veem o problema da incerteza do modelo e como preferem lidar com isso. Vou tentar colocar minha pergunta em duas partes:

Qual a importância (na sua experiência / opinião) é lidar com a incerteza do modelo? Não encontrei nenhum documento que lide com esse problema na comunidade de aprendizado de máquina, por isso estou me perguntando o porquê.
Quais são as abordagens comuns para lidar com a incerteza do modelo (pontos de bônus se você fornecer referências)? Ouvi falar da média bayesiana do modelo, embora não esteja familiarizado com as técnicas / limitações específicas dessa abordagem. Quais são alguns outros e por que você prefere um ao outro?

machine-learning bayesian model-selection

— usuario
fonte

11

Um método menos popular (mas com crescente popularidade) são as Regras de Pontuação que avaliam o desempenho preditivo dos modelos.

17

Existem dois casos que surgem ao lidar com a seleção de modelos:

Quando o modelo verdadeiro pertence ao espaço do modelo.

É muito simples lidar com o uso do BIC . Há resultados que mostram que o BIC selecionará o modelo verdadeiro com alta probabilidade.

No entanto, na prática, é muito raro conhecermos o verdadeiro modelo. Devo observar que o BIC tende a ser mal utilizado por causa disso (a razão provável é sua aparência semelhante ao AIC ) . Esses problemas foram abordados neste fórum antes de várias formas. Uma boa discussão está aqui .

Quando o modelo verdadeiro não está no espaço do modelo.

Esta é uma área ativa de pesquisa na comunidade bayesiana. No entanto, confirma-se que as pessoas sabem que usar o BIC como critério de seleção de modelo nesse caso é perigoso. A literatura recente na análise de dados de alta dimensão mostra isso. Um exemplo é esse . O fator Bayes definitivamente desempenha surpreendentemente bem em altas dimensões. Várias modificações do BIC foram propostas, como o mBIC, mas não há consenso. O RJMCMC de Green é outra maneira popular de fazer a seleção bayesiana de modelos, mas tem suas próprias falhas. Você pode acompanhar mais sobre isso.

Há outro campo no mundo bayesiano que recomenda a média do modelo. Ser notável, Dr. Raftery.

Média bayesiana do modelo.

Este site de Chris Volinksy é uma fonte abrangente de averiguação bayesiana de modelos. Alguns outros trabalhos estão aqui .

Novamente, a seleção bayesiana de modelos ainda é uma área ativa de pesquisa e você pode obter respostas muito diferentes, dependendo de quem você perguntar.

— suncoolsu
fonte

\log | A_{n} | \approx \log | n A_{1} | = p \log n + \log | A_{1} |

$\log|A_n|\approx\log|nA_1|=p\log n+\log|A_1|$

A_{n}

$A_n$

A_{1}

$A_1$

\log | A_{1} | = O (1)

$\log|A_1|=O(1)$

ele também poderia ser devido à aproximação Laplace um mau desempenho bem

— probabilityislogic

11

Um bayesiano "verdadeiro" lidaria com a incerteza do modelo marginalizando (integrando) todos os modelos plausíveis. Assim, por exemplo, em um problema de regressão linear de cume, você marginalizaria os parâmetros de regressão (que teriam um posterior gaussiano, para que pudesse ser feito analiticamente), mas depois marginalizaria os hiperparemetros (nível de ruído e parâmetro de regularização) via, por exemplo, MCMC métodos.

Uma solução bayesiana "menor" seria marginalizar os parâmetros do modelo, mas otimizar os hiper parâmetros, maximizando a probabilidade marginal (também conhecida como "evidência bayesiana") para o modelo. No entanto, isso pode levar a mais ajustes do que o esperado (veja, por exemplo, Cawley e Talbot ). Veja o trabalho de David MacKay para obter informações sobre maximização de evidências no aprendizado de máquina. Para comparação, veja o trabalho de Radford Neal sobre a abordagem "integrar tudo" a problemas semelhantes. Observe que a estrutura de evidências é muito útil para situações em que a integração é muito computacionalmente cara, portanto, há espaço para ambas as abordagens.

Efetivamente, os bayesianos se integram ao invés de otimizar. Idealmente, declararíamos nossa crença anterior com relação às características da solução (por exemplo, suavidade) e faríamos previsões de maneira ideal sem realmente fazer um modelo. Os "modelos" do processo gaussiano usados no aprendizado de máquina são um exemplo dessa idéia, em que a função de covariância codifica nossa crença anterior em relação à solução. Veja o excelente livro de Rasmussen e Williams .

Para os bayesianos práticos, sempre há validação cruzada, é difícil de vencer na maioria das coisas!

— Dikran Marsupial
fonte

11

Uma das coisas interessantes que encontro no mundo "Modelo de incerteza" é essa noção de "modelo verdadeiro". Isso significa implicitamente que nossas "proposições de modelo" têm a forma:

M_{Eu}^{(1 1)} : O i-ésimo modelo é o verdadeiro modelo

$M_i^{(1)}:\text{The ith model is the true model}$

$P(M_i^{(1)}|DI)$ $M_i^{(1)}$

A exaustão é crucial aqui, porque isso garante que as probabilidades aumentem para 1, o que significa que podemos marginalizar o modelo.

Mas tudo isso é no nível conceitual - a média do modelo tem um bom desempenho. Então isso significa que deve haver um conceito melhor.

Pessoalmente, vejo os modelos como ferramentas, como um martelo ou uma furadeira. Modelos são construções mentais usadas para fazer previsões sobre ou descrever coisas que podemos observar. Parece muito estranho falar de um "verdadeiro martelo" e igualmente bizarro falar de um "verdadeiro construto mental". Com base nisso, a noção de um "modelo verdadeiro" me parece estranha. Parece muito mais natural pensar em modelos "bons" e "ruins", em vez de modelos "certos" e modelos "errados".

Considerando esse ponto de vista, poderíamos igualmente estar incertos quanto ao "melhor" modelo a ser usado, a partir de uma seleção de modelos. Então, suponha que raciocinemos sobre a proposta:

M_{Eu}^{(2)} : De todos os modelos que foram especificados,

$M_i^{(2)}:\text{Out of all the models that have been specified,}$

o i-ésimo modelo é o melhor modelo para usar

$\text{the ith model is best model to use}$

$M_{i}^{(2)}$ usar o BIC é perfeitamente adequado como uma aproximação aproximada e fácil. Além disso, as proposições $M_{i}^{(2)}$ são exaustivos , além de exclusivos .

Nessa abordagem, no entanto, você precisa de algum tipo de medida da qualidade do ajuste, para avaliar o quão bom é o seu "melhor" modelo. Isso pode ser feito de duas maneiras, testando-se contra modelos de "certeza", que equivalem às estatísticas usuais do GoF (divergência de KL, qui-quadrado etc.). Outra maneira de avaliar isso é incluir um modelo extremamente flexível em sua classe de modelos - talvez um modelo de mistura normal com centenas de componentes ou uma mistura de processo Dirichlet. Se este modelo for o melhor, é provável que seus outros modelos sejam inadequados.

Este artigo apresenta uma boa discussão teórica e apresenta passo a passo um exemplo de como você realmente seleciona modelos.

— probabilityislogic
fonte

Um grande +1. Análise muito ponderada e clara.

— whuber

Ótima resposta. Devo mencionar que, a julgar por uma classe específica de modelos, o BIC é ótimo. No entanto, na maioria das vezes, como você mencionou, o modelo verdadeiro está fora do espaço do modelo. Então, novamente, como você mencionou, a proximidade entre o modelo verdadeiro e o "melhor modelo" faz sentido. Essas são as respostas que a AIC e outros CIs tentam responder. O BMA funciona, mas também mostrou que não funciona. Isso não quer dizer que seja ruim, mas devemos ter cuidado ao pensar nisso como uma alternativa universal.

— 21911 suncoolsu

11

O problema com o BMA é que você não pode aplicá-lo cegamente, mesmo que pareça que você pode. Você ainda precisa verificar os melhores modelos do seu aparelho e ver se eles são aceitáveis. Uma das minhas equações "fundamentais" favoritas é

C R A P = C R A P = \frac{1}{N} \sum_{i = 1}^{N} C R A P_{i}

$CRAP=CRAP=\frac{1}{N}\sum_{i=1}^{N} CRAP_i$ . Se todos os seus modelos forem ruins, a média sobre eles é uma perda de tempo. A média só faz sentido se você tem muitos modelos bons, mas não pode decidir qual deles usar.

— probabilityislogic

4

Eu sei que as pessoas usam o fator DIC e Bayes, como o suncoolsu disse. E fiquei interessado quando ele disse: "Existem resultados que mostram que o BIC selecionará o modelo verdadeiro com alta probabilidade" (referências?). Mas uso a única coisa que sei, que é a verificação preditiva posterior, defendida por Andrew Gelman. Se você pesquisar no Google Andrew Gelman e nas verificações preditivas posteriores, encontrará muitas coisas. E eu daria uma olhada no que Christian Robert está escrevendo na ABC sobre a escolha de modelos . De qualquer forma, aqui estão algumas referências que eu gosto e algumas postagens recentes no blog de Gelman:

Blog

DIC e AIC ; Mais sobre DIC . Verificação de modelo e validação externa

Artigos sobre verificações preditivas posteriores:

GELMAN, Andrew. (2003a). "Formulação Bayesiana de Análise Exploratória de Dados e Teste de Qualidade do Ajuste". International Statistical Review, vol. 71, n.2, pp. 389-382.

GELMAN, Andrew. (2003b). "Análise Exploratória de Dados para Modelos Complexos". Journal of Computational and Graphic Statistics, vol. 13, n. 4, pp. 755/779.

GELMAN, Andrew; MECHELEN, Iven Van; VERBEKE, Geert; HEITJAN, Daniel F .; Michel, Michel. (2005). “Imputação múltipla para verificação de modelo: gráficos de dados concluídos com dados ausentes e latentes.” Biometrics 61, 74–85, março

GELMAN, Andrew; MENG, Xiao-Li; STERN, Hal. (1996). "Avaliação preditiva posterior da aptidão do modelo através de discrepâncias realizadas". Statistica Sinica, 6, pp. 733-807.

— Manoel Galdino
fonte