Pergunta sobre como usar o EM para estimar parâmetros deste modelo

Estou tentando entender o EM e tentando inferir parâmetros desse modelo usando essa técnica, mas estou tendo problemas para entender como começar:

Então, eu tenho um modelo de regressão linear ponderada da seguinte forma, onde tenho observações e as observações correspondentes . O modelo da relação entre e é um modelo de regressão linear ponderada e as premissas de distribuição são as seguintes: $X = (x_i, x_2....x_n)$ $Y = (y_1, y_2....y_n)$ $X$ $Y$

y_{i} \sim N (β^{T} x_{i}, \frac{σ^{2}}{w_{i}})

$y_i \sim \mathcal{N}(\beta^Tx_i, \frac{\sigma^2}{w_i})$

β \sim N (0, Σ_{β})

$\beta \sim \mathcal{N}(0, \Sigma_\beta)$

w_{i} \sim G (a, b)

$w_i \sim \mathcal{G}(a, b)$

Aqui são os parâmetros de regressão e o modelo permite variações desiguais, fazendo com que as variáveis de resposta tenham pesos individuais na variação. Meu objetivo é encontrar a relação linear mais provável fornecida pelos parâmetros . $\beta$ $\beta$

Então, agora posso escrever o log-posterior da seguinte maneira:

\log P (Y, β, w | X) = \sum_{i = 1}^{n} (\log P (y_{i} | x_{i}, β, w_{i}) + \log P (w_{i})) + l o g P (β)

$\log P(Y, \beta, w|X) = \sum_{i=1}^n \big(\log P(y_i|x_i, \beta, w_i) + \log P(w_i)\big) + log P(\beta)$

Agora, eu tenho tentado entender EM e não tenho certeza de que meu entendimento ainda esteja completo, mas como eu o entendo, para começar a estimar os parâmetros, começo assumindo a expectativa da distribuição log-posterior em relação aos parâmetros latentes / ocultos que, no meu caso, são e . Portanto, esse valor esperado exigido será: $\log P(Y, \beta, w|X)$ $\beta$ $w$

\int \int P (β, w | X) * \log P (Y, β, w | X) d w d β

$\int\int P(\beta, w | X) * \log P(Y, \beta, w | X) dw \;d\beta$

No entanto, não tenho idéia de como proceder a partir daqui para calcular essa expectativa. Gostaria muito de receber sugestões sobre qual deve ser o próximo passo. Não estou procurando alguém para me obter todas as coisas necessárias, mas apenas um empurrão na direção certa sobre o que devo procurar resolver nas próximas etapas.

bayesian expectation-maximization

— Luca
fonte

você tem certeza de que o EM, como em Expectation-Maximization, se aplica ao seu problema?

— Xian

Acho que sim. Estou tentando entender um artigo e eles usam EM para resolver esse problema de regressão linear bayesiana ponderada.

— Luca

As variáveis latentes não podem ser

β

$\beta$ e a

w_{i}

$w_i$ 's. Se você estiver interessado em

β

$\beta$ , as variáveis latentes são presumivelmente as

w_{i}

$w_i$ 's. Nesse caso, você deve encontrar a probabilidade completa de log esperada

Q (β | β_{0})

$Q(\beta|\beta_0)$ função da etapa E e otimize-a em

β

$\beta$ na etapa M.

— Xian

Obrigado por seu comentário. Se posso tentar esclarecer, o documento menciona que estamos interessados em maximizar a probabilidade incompleta de log

\log p (Y | X)

$\log p(Y|X)$ mas trabalhamos com a probabilidade de dados completa fornecida por:

\log P (y, w, β | X)

$\log P(y, w, \beta|X)$ , que para mim parecia a distribuição posterior nesta configuração. Então, eu assumi

β

$\beta$ está sendo tratado como uma variável oculta nesta configuração.

— Luca

Quanto você já sabe sobre o algoritmo EM? Que livro ou artigo você estudou sobre isso? Começar do zero em um fórum como esse parece uma má ideia.

— Xi'an

Deixe-me relembrar o básico do algoritmo EM primeiro. Ao procurar a estimativa de probabilidade máxima de uma probabilidade do formulário

\int f (x, z | β) d z,

$\int f(x,z|\beta)\text{d}z,$ o algoritmo prossegue maximizando iterativamente (M) as esperadas (E) probabilidades completas de log, o que resulta na maximização (em

β

$\beta$ ) na iteração

t

$t$ a função

Q (β | β_{i}) = \int \log f (x, z | β) f (z | x, β_{t}) d z

$Q(\beta|\beta_i)=\int \log f(x,z|\beta) f(z|x,\beta_t)\text{d}z$ O algoritmo deve, portanto, começar identificando a variável latente

z

$z$ e sua distribuição condicional.

No seu caso, parece que a variável latente é $\varpi$ feito do $w_i$ enquanto o parâmetro de interesse é $\beta$ . Se você processar ambos $\beta$ e $\varpi$ como variáveis latentes, não há nenhum parâmetro a ser otimizado. No entanto, isso também significa que o anterior $\beta$ não é usado.

Se olharmos mais precisamente para o caso de $w_i$ , sua distribuição condicional é dada por

f (w_{i} | x_{i}, y_{i}, β) \propto \sqrt{w_{i}} \exp {- w_{i} (y_{i} - β^{T} x_{i})^{2} / 2 σ^{2}} \times w_{i}^{a - 1} \exp {- b w_{i}}

$f(w_i|x_i,y_i,\beta)\propto\sqrt{w_i}\exp\left\{-w_i(y_i-\beta^Tx_i)^2/2\sigma^2\right\}\times w_i^{a-1}\exp\{-bw_i\}$ qualificada como

G (a + 1 / 2, b + (y_{i} - β^{T} x_{i})^{2} / 2 σ^{2})

$\mathcal{G}\left(a+1/2,b+(y_i-\beta^Tx_i)^2/2\sigma^2\right)$ distribuição.

A probabilidade de log concluída é

\sum_{i} \frac{1}{2} {\log (w_{i}) - w_{i} (y_{i} - β^{T} x_{i})^{2} / σ^{2}}

$\sum_i \frac{1}{2}\left\{\log(w_i)- w_i(y_i-\beta^Tx_i)^2/\sigma^2\right\}$ a parte que depende

β

$\beta$ simplifica como

- \sum_{i} w_{i} (y_{i} - β^{T} x_{i})^{2} / 2 σ^{2}

$-\sum_iw_i(y_i-\beta^Tx_i)^2/2\sigma^2$ e a função

- Q (β | β_{t})

$-Q(\beta|\beta_t)$ é proporcional a

\begin{aligned} E [\sum_{i} w_{i} (y_{i} - β^{T} x_{i})^{2} | X, Y, β_{t}] & = \sum_{i} E [w_{i} | X, Y, β_{t}] (y_{i} - β^{T} x_{i})^{2} \\ = \sum_{i} \frac{a + 1 / 2}{b + (y_{i} - β_{t}^{T} x_{i})^{2} / 2 σ^{2}} (y_{i} - β^{T} x_{i})^{2} \end{aligned}

$\begin{align*}\mathbb{E}\left[\sum_iw_i(y_i-\beta^Tx_i)^2\Big|X,Y,\beta_t\right]&=\sum_i\mathbb{E}[w_i|X,Y,\beta_t](y_i-\beta^Tx_i)^2\\&=\sum_i\frac{a+1/2}{b+(y_i-\beta_t^Tx_i)^2/2\sigma^2}(y_i-\beta^Tx_i)^2\end{align*}$ Maximizar esta função em

β

$\beta$ equivale a uma regressão linear ponderada, com pesos

\frac{a + 1 / 2}{b + (y_{i} - β_{t}^{T} x_{i})^{2} / 2 σ^{2}}

$\frac{a+1/2}{b+(y_i-\beta_t^Tx_i)^2/2\sigma^2}$

— Xi'an
fonte

Obrigado por isso e vou passar por isso rigorosamente. No entanto, este trabalho que estou tratando trata

β

$\beta$ como uma variável oculta também. Eles mencionam que assumem a expectativa com a forma aproximada de posterior

Q (β, w)

$Q(\beta, w)$ aproximando-o como

Q (w) Q (β)

$Q(w)Q(\beta)$ . Então, isso pouco me realmente confuso ...

— Luca

Se você tratar ambos

β

$\beta$ e

w

$w$ como variáveis latentes, não resta nenhum parâmetro ...

— Xian

Talvez o que eles tenham domo seja a estimativa do MAP em vez da estimativa do ML. Se eu tentar reformular isso como a estimativa do MAP, acho que a distribuição anterior de

β

$\beta$ entraria em jogo?

— Luca

Uma coisa muito rápida ... Não tenho certeza se você vê isso, mas quando você tem a equação para a probabilidade completa do log, é o primeiro termo não

l o g (\sqrt{w_{i}})

$log(\sqrt{w_i})$ ? Além disso, acho que o termo que você mostra é a probabilidade de log proporcional a uma constante. Sempre fico confuso com isso quando as coisas são enroladas em constantes.

— Luca

correção feita: eu coloquei

1 / 2

$1/2$ na frente de toda a expressão.

— Xian