O que é "máxima verossimilhança restrita" e quando deve ser usado?

73

Li no resumo deste artigo que:

"O procedimento de máxima verossimilhança (ML) do Hartley aud Rao é modificado adaptando uma transformação de Patterson e Thompson que particiona a probabilidade renderizar a normalidade em duas partes, sendo uma livre dos efeitos fixos. A maximização dessa parte produz o que é chamado de máxima verossimilhança restrita Estimadores (REML) ".

Também li no resumo deste artigo que REML:

"leva em consideração a perda de graus de liberdade resultante da estimativa de efeitos fixos".

Infelizmente, não tenho acesso ao texto completo desses papéis (e provavelmente não entenderia se o fizesse).

Além disso, quais são as vantagens de REML vs. ML? Em que circunstâncias a REML pode ser preferida à ML (ou vice-versa) ao ajustar um modelo de efeitos mistos? Por favor, dê uma explicação adequada para alguém com formação em matemática no ensino médio (ou logo após)!

mixed-model maximum-likelihood reml

— Joe King
fonte

consulte stats.stackexchange.com/questions/99895/…

62

Conforme a resposta do ocram, ML é enviesado para a estimativa dos componentes de variância. Mas observe que o viés fica menor para amostras maiores. Portanto, em resposta às suas perguntas " ... quais são as vantagens de REML vs ML? Em que circunstâncias REML pode ser preferível a ML (ou vice-versa) ao ajustar um modelo de efeitos mistos? ", Para amostras pequenas, é preferível REML. No entanto, os testes de razão de verossimilhança para REML requerem exatamente a mesma especificação de efeitos fixos nos dois modelos. Portanto, para comparar modelos com diferentes efeitos fixos (um cenário comum) com um teste de LR, o ML deve ser usado.

O REML leva em consideração o número de parâmetros (efeitos fixos) estimados, perdendo 1 grau de liberdade para cada um. Isto é conseguido aplicando ML aos resíduos dos mínimos quadrados, que são independentes dos efeitos fixos.

— Robert Long
fonte

8

De fato, o estimador REML de um componente de variância é geralmente (aproximadamente) imparcial, enquanto o estimador de ML é enviesado negativamente. No entanto, o estimador de ML geralmente apresenta erro quadrático médio (MSE) menor que o estimador REML. Portanto, se você quer ter razão, vá com REML, mas pagará por isso com maior variabilidade nas estimativas. Se você quer estar mais próximo do valor real, em média, vá com o ML, mas pagará por isso com viés negativo.

— Wolfgang

3

n

$n$

(n - 1)

$(n-1)$

"ML é tendencioso para a estimativa de componentes de variância". Significa a variação dos efeitos aleatórios ou também os erros padrão dos coeficientes de efeito fixo?

— skan 17/01

54

Aqui está uma resposta rápida ...

Exemplo ilustrativo padrão

$y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

E ({\hat{σ}}_{ML}^{2}) = \frac{n - 1}{n} σ^{2} .

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

$y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

A estimativa de REML é frequentemente usada no contexto mais complicado de modelos mistos. Todo livro sobre modelos mistos tem uma seção explicando a estimativa de REML em mais detalhes.

Editar

@ Joe King: Aqui está um dos meus livros favoritos sobre modelos mistos que está totalmente disponível online. A Seção 2.4.2 trata da estimativa de componentes de variação. Boa leitura :-)

— ocram
fonte

Obrigado - isso é útil - embora eu não tenha acesso fácil a livros em modelos mistos. Por favor, você poderia relacionar sua resposta com as 2 citações no meu post?

— Joe King

Eu me pergunto como um gaussiano multivariado muda a história. stats.stackexchange.com/questions/167494/…

— Sibbs Gambling

9

O método ML subestima os parâmetros de variação, pois assume que os parâmetros fixos são conhecidos sem incerteza ao estimar os parâmetros de variação.

O método REML usa um truque matemático para tornar as estimativas dos parâmetros de variação independentes das estimativas dos efeitos fixos. REML funciona obtendo primeiro resíduos de regressão para as observações modeladas pela parte de efeitos fixos do modelo, ignorando neste momento quaisquer componentes de variação.

As estimativas de ML são imparciais para os efeitos fixos, mas tendenciosas para os efeitos aleatórios, enquanto as estimativas de REML são tendenciosas para os efeitos fixos e imparciais para os efeitos aleatórios.

— skan
fonte