Comparando a estimativa de máxima verossimilhança (MLE) e o teorema de Bayes

12

No teorema bayesiano, , e do livro que estou lendo, é chamado de probabilidade , mas presumo que seja apenas a probabilidade condicional de dado , certo?

p (y | x) = \frac{p (x | y) p (y)}{p (x)}

$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$

p (x | y)

$p(x|y)$

x

$x$

y

$y$

A estimativa de probabilidade máxima tenta maximizar , certo? Nesse caso, estou muito confuso, porque são duas variáveis aleatórias, certo? Maximizar é apenas descobrir o ? Mais um problema, se essas duas variáveis aleatórias são independentes, então é apenas , certo? Maximizar é maximizar . $p(x|y)$ $x,y$ $p(x|y)$ $\hat y$ $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

Ou talvez, seja uma função de alguns parâmetros , que é , e o MLE tenta encontrar o que pode maximizar ? Ou mesmo que seja, na verdade, os parâmetros do modelo, e não uma variável aleatória, maximizando a probabilidade de encontrar ? $p(x|y)$ $\theta$ $p(x|y; \theta)$ $\theta$ $p(x|y)$ $y$ $\hat y$

ATUALIZAR

Sou iniciante em aprendizado de máquina, e esse problema é uma confusão das coisas que li em um tutorial de aprendizado de máquina. Aqui está, dado um conjunto de dados observado , os valores de destino são e tento ajustar um modelo nesse conjunto de dados , então suponho que, dado , tenha uma forma de distribuição denominada parametrizada por , que é , e assumo que essa seja a probabilidade posterior , certo? $\{x_1,x_2,...,x_n\}$ $\{y_1,y_2,...,y_n\}$ $x$ $y$ $W$ $\theta$ $p(y|x; \theta)$

Agora, para estimar o valor de , eu uso o MLE. OK, aí vem o meu problema, acho que a probabilidade é , certo? Maximizar a probabilidade significa que eu deveria escolher o e certo ? $\theta$ $p(x|y;\theta)$ $\theta$ $y$

Se minha compreensão da probabilidade estiver errada, mostre-me o caminho certo.

bayesian maximum-likelihood

— abacate
fonte

Penso que a confusão é esta: o teorema de Bayes é apenas a manipulação das probabilidades condicionais que você fornece no início de sua pergunta. A Estimação Bayesiana utiliza o teorema de Bayes para fazer estimativas de parâmetros. É somente neste último, que a estimativa de máxima verossimilhança (MLE) e o parâmetro theta, etc. entram em jogo.

— Zhubarb

@Berkan, bem, na verdade, tento descobrir qual é a probabilidade, considerando .

x, y, θ

$x,y,\theta$

— abacate

1

Entendo, eu recomendaria que você desse um ótimo conjunto de slides de aula introdutórios na estimativa de parâmetros.

— Zhubarb 22/10/2013

1

Outro ótimo tópico para se ler são os Estimadores da Empirical Bayes. Acabamos de aprender sobre aqueles em minha classe :) biostat.jhsph.edu/~fdominic/teaching/bio656/labs/labs09/...

— bdeonovic

16

Eu acho que o mal-entendido principal deriva de perguntas que você faz na primeira metade da sua pergunta. Abordo essa resposta como contrastando paradigmas inferenciais MLE e Bayesianos. Uma discussão muito acessível do MLE pode ser encontrada no capítulo 1 de Gary King, Unifying Political Methodology. A análise de dados bayesiana de Gelman pode fornecer detalhes sobre o lado bayesiano.

No teorema de Bayes, e do livro que estou lendo, é chamado de probabilidade, mas presumo que seja apenas a probabilidade condicional de dado , certo?
$p (y | x) = \frac{p (x | y) p (y)}{p (x)}$ $p(y|x)=\frac{p(x|y)p(y)}{p(x)}$ $p(x|y)$ $x$ $y$

A probabilidade é uma probabilidade condicional. Para um bayesiano, essa fórmula descreve a distribuição do parâmetro com os dados e . Mas como essa notação não reflete sua intenção, a partir de agora usarei ( , ) para parâmetros e para seus dados. $y$ $x$ $p(y)$ $\theta$ $y$ $x$

Mas sua atualização indica que são observados em alguma distribuição . Se colocarmos nossos dados e parâmetros nos locais apropriados na regra de Bayes, descobriremos que esses parâmetros adicionais não apresentam problemas para os bayesianos: $x$ $p(x|\theta,y)$

p (θ | x, y) = \frac{p (x, y | θ) p (θ)}{p (x, y)}

$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$

Acredito que essa expressão é o que você procura na sua atualização.

A estimativa de probabilidade máxima tenta maximizar , certo? $p(x,y|\theta)$

Sim. O MLE postula que Ou seja, trata o termo como desconhecido. (e incognoscível) constante. Por outro lado, a inferência bayesiana trata como uma constante normalizadora (de modo que as probabilidades somam / integram-se à unidade) como uma informação importante: a anterior. Podemos pensar em como uma maneira de incorrer em uma penalidade no procedimento de otimização por "andar muito longe" da região que achamos mais plausível.

p (x, y | θ) \propto p (θ | x, y)

$p(x,y|\theta) \propto p(\theta|x,y)$

\frac{p (θ, y)}{p (x)}

$\frac{p(\theta,y)}{p(x)}$

p (x)

$p(x)$

p (θ, y)

$p(\theta,y)$

p (θ, y)

$p(\theta,y)$

Nesse caso, estou muito confuso, porque são variáveis aleatórias, certo? Maximizar é apenas descobrir o ? $x,y,\theta$ $p(x,y|\theta)$ $\hat{\theta}$

No MLE, é assumido como uma quantidade fixa desconhecida, mas capaz de ser inferida, não uma variável aleatória. A inferência bayesiana trata como uma variável aleatória. Funções de densidade de Bayesian puts inferência de probabilidade em e recebe funções densidade de probabilidade para fora , ao invés de resumos de ponto do modelo, como no MLE. Ou seja, a inferência bayesiana examina toda a gama de valores de parâmetros e a probabilidade de cada um. O MLE postula que é um resumo adequado dos dados, conforme o modelo. $\hat{\theta}$ $\theta$ $\hat{\theta}$

— Sycorax diz restabelecer Monica
fonte

1

Obrigado pela sua resposta, eu atualizo minha postagem, consulte minha atualização.

— abacate

Esta atualização mudou radicalmente minha compreensão da questão. Inicialmente, pensei que você estivesse considerando como um parâmetro como seus dados. Agora parece que são dados e você está interessado em construir um modelo que descreva o relacionamento entre e . Modificarei minha resposta à medida que tiver tempo.

y

$y$

x

$x$

(x, y)

$(x,y)$

x

$x$

y

$y$

— Sycorax diz Restabelecer Monica

+1 Essa ainda é uma ótima resposta: espero que você a mantenha praticamente intacta, mesmo que você a modifique para corresponder às alterações na pergunta.

— whuber

Atualizei minha resposta para refletir sua pergunta atualizada. Espero que esses detalhes ajudem. Eu realmente recomendo me referir às referências que menciono. E espero que a @whuber ainda aprove. ;-)

— Sycorax diz Reinstate Monica

Muito obrigado pela atualização, então você quer dizer que, apesar de eu pegar uma forma de distribuição para , devo tratar como dados observados ao tentar estimar o ?

p (y | x)

$p(y|x)$

x, y

$x,y$

θ

$\theta$

— abacate

3

Normalmente é uma função do parâmetro . Considere a seguinte reformulação do teorema de Bayes: $p(x|y)$ $y$

p (θ | x) = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

Ou ainda mais explicitamente (com relação à noção de probabilidade):

p (θ | x) = \frac{L (θ; x) p (θ)}{p (x)}

$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$

Para um exemplo concreto, considere o modelo

X | θ \sim B i n o m i a l (θ) θ \sim B e t a (α, β)

$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$

— David Marx
fonte

Então, tipicamente não é a variável aleatória, mas , certo?

y

$y$

x

$x$

— abacate

Y é geralmente um parâmetro no pdf de X. Em uma configuração freqüentista, y é normalmente um valor fixo. Em um cenário bayesiano, o próprio Y é uma variável aleatória (como no exemplo que dei). X | Y também pode ser uma probabilidade condicional no sentido que você quer dizer, eu estava tentando lhe dar a motivação por que essa quantidade é chamada de probabilidade.

— 22613 David Marx

Com relação ao exemplo concreto dado em sua resposta, você quer dizer que é na verdade uma variável aleatória, mas na distribuição de , ela é tomada como parâmetro?

θ

$\theta$

X

$X$

— abacate

Só porque algo é uma variável aleatória não significa que não pode ser um parâmetro. Bem-vindo ao maravilhoso mundo da probabilidade bayesiana :)

— David Marx

0

"... é chamado de probabilidade ..." $p(x|y)$

$p(x|y)$ é a probabilidade de y dado x . É importante dizer do que é provável. E sim, é apenas a probabilidade condicional de dado . $x$ $y$

"... se essas 2 variáveis aleatórias são independentes, então é apenas , certo? Então maximizar é maximizar ..." $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

Se eles são independentes, ou seja, , é constante em relação a . Tenha cuidado aqui, pois você não especifica o que você está maximizando em relação ao - pelo que você escreveu anteriormente, eu assumiria que você está maximizando em relação a . $p(x|y) = p(x)$ $p(x)$ $y$ $y$

... Ou talvez, seja uma função de alguns parâmetros , que é , e o MLE tenta encontrar o que pode maximizar ? Ou mesmo que y são realmente os parâmetros do modelo, e não a variável aleatória, maximizar a probabilidade é encontrar o ? ... $p(x|y)$ $\theta$ $p(x|y;\theta)$ $\theta$ $p(x|y)$ $\hat{y}$

A introdução de torna esse um problema totalmente novo. Em geral, a resposta para a maior parte dessa pergunta aqui parece ser 'depende'. Poderíamos denotar parâmetros como se quiséssemos, e maximizar com relação a eles. Da mesma forma, poderíamos ter uma situação em que maximizamos em relação aos parâmetros se essa fosse uma maneira sensata de abordar o problema em questão. $\theta$ $y$ $p(x|y;\theta)$ $\theta$

— Pat
fonte

A razão pela qual eu apresento é isso, no livro de aprendizagem de máquina que estou lendo, dado um conjunto de dados e é o valor alvo correspondente, de modo a ajustar um modelo para este conjunto de dados, eu posso usar MLE para estimar qual é o parâmetro do modelo, certo?

θ

$\theta$

x

$x$

y

$y$

θ

$\theta$

— abacate

0

No manual de referência do STAN:

Se o anterior for uniforme, o modo posterior corresponde à estimativa de máxima verossimilhança (MLE) dos parâmetros. Se o prior não é uniforme, o modo posterior é algumas vezes chamado de estimativa máxima a posterior (PAM).

— Neerav
fonte