Por que é difícil incorporar incerteza em efeitos aleatórios ao fazer previsões a partir de modelos mistos?

Há vários tópicos no R-sig-ME sobre a obtenção de intervalos de confiança para previsões usando lme4e nlmeem R. Por exemplo, aqui e aqui em 2010, incluindo alguns comentários de Dougals Bates, um dos autores de ambos os pacotes. Hesito em citá-lo literalmente, por medo de serem retirados do contexto, mas de qualquer maneira, um comentário que ele faz é

"Você está combinando parâmetros e variáveis aleatórias em suas previsões e não sei ao certo o que significaria avaliar a variabilidade dessas previsões. Um bayesiano pode ser capaz de entender isso, mas não consigo entender. " https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

Eu sei que o pacote gles Bayesiano MCMCglmmpode produzir intervalos confiáveis para previsões.

Ultimamente, a versão de desenvolvimento do lme4on github recebeu um predictmétodo, mas é acompanhada pelo seguinte comentário:

"@note Não há opção para calcular erros padrão de previsões porque é difícil definir um método eficiente que incorpore incerteza nos parâmetros de variação; recomendamos \ code {\ link {bootMer}} para esta tarefa." https://github.com/lme4/lme4/blob/master/R/predict.R

Então, por que é difícil incorporar incerteza em efeitos aleatórios ao fazer previsões de modelos mistos em um ambiente freqüentista?

mixed-model

— P Sellaz
fonte

Respostas:

Não tenho certeza sobre o comentário do método de previsão, mas um problema primário está relacionado à geração de medidas de variação facilmente interpretáveis, não medidas de variação por si só. Bates não está comentando na primeira citação se você pode fazê-lo, exatamente o que isso significa.

Tome um modelo simples de vários níveis de um projeto de medidas repetidas de dois níveis. Digamos que você tenha os seguintes dados em que cada linha é um assunto:

insira a descrição da imagem aqui

No lmermodelo pode ser expresso como:

y ~ x + (1|subject)

Você está prevendo o valor y de x como um efeito fixo (a diferença entre A e B); e interceptar um efeito aleatório **. Observe atentamente o gráfico e observe que, embora exista variabilidade no efeito x para cada sujeito (inclinação de cada linha), é relativamente pequeno comparado à variabilidade entre os sujeitos (a altura de cada linha).

O modelo analisa esses dois conjuntos de variabilidade e cada um é significativo. Você pode usar os efeitos aleatórios para prever alturas de linhas e efeitos fixos de x para prever inclinações. Você pode até usar os dois combinados para trabalhar nossos valores y individuais. Mas o que você não pode fazer é realmente dizer algo significativo em relação ao seu modelo quando você combina a variabilidade de inclinações e alturas de linhas. Você precisa falar sobre a variabilidade de suas inclinações e alturas de linhas separadamente. Essa é uma característica do modelo, não um passivo.

Você terá uma variabilidade do efeito de x estimada com relativa facilidade. Você poderia dizer algo sobre um intervalo de confiança em torno disso. Mas observe que esse intervalo de confiança terá uma pequena relação com a previsão de qualquer valor y em particular, porque o valor y é influenciado por uma combinação de efeito e variação de assunto, diferente da variabilidade do efeito.

Quando Bates escreve coisas como você citou, imagino que ele esteja pensando em projetos multinível muito mais complexos que isso nem se aproxima. Mas mesmo que você considere esse exemplo simples, você começa a se perguntar que tipo de significado real pode ser extraído da combinação de todas as medidas de variação.

** Ignorei o efeito fixo da interceptação por simplicidade e apenas o tratei como um efeito aleatório. Você poderia extrair conclusões semelhantes de um modelo ainda mais simples, apenas com uma interceptação aleatória e fixa, mas acho que seria mais difícil de transmitir. Nesse caso, novamente, o efeito fixo e o efeito aleatório são analisados por uma razão e significam coisas diferentes, e reunir sua variabilidade novamente para valores previstos faz com que essa variabilidade faça pouco sentido em relação ao modelo.

— John
fonte

Então, o que eu ouço você dizendo é que isso se resume à mesma velha opinião de não ter certeza se queremos tratar a variação de assunto como erro ou particioná-la separadamente e fingir que não existe? Isso está certo?

— russellpierce

Eu nunca ouvi aquela serra velha. Nunca ouvi dizer que você deveria fingir que a variação de assunto não existe. Mas suponho que esteja relacionado a este exemplo em particular. O modelo analisa a variação. Esse recurso do processo de modelagem é como você pode entender o modelo. Se você recombinar a variação novamente, estará derrotando o objetivo do modelo. Não estou dizendo para ignorar a variação do assunto, apenas que o efeito aleatório do assunto é separado. Você pode ler Blouin & Riopelle (2005) e ver como o significado dos SE muda quando você combina a variação.

— John

Talvez esteja faltando alguma coisa, mas isso parece muito com as pessoas que andam de um lado para o outro sobre qual tamanho de efeito é melhor usar para ANOVA Dentro de Assuntos / Medidas Repetidas e como esses intervalos de confiança são melhor plotados ... mas suponho que depois de eu leia o que você me indicou, não sentirei falta do que quer que esteja sentindo falta. :) Obrigado.

— russellpierce

Como eu disse, eles estão relacionados. Eu não sabia que havia um idas e vindas, adoraria ver uma referência. O fato é que os dois ICs e efeitos de que você está falando significam coisas diferentes. Então, você usa aquele que transmite o que você quer dizer. E você tem que fazê-los parecer sensatos. [É difícil argumentar (embora alguns o tenham) que colocar um IC incorporando variação de assunto em torno de uma média em um design de medidas repetidas e usá-lo para dizer algo sobre o efeito de medidas repetidas é sensato.]

— John

Não vi nada na literatura, apenas muitas torções informais e tentativas de adivinhar o que o revisor do dia pensará.

— russellpierce

Durante muito tempo, me perguntei sobre a crença aparentemente comum de que há alguma diferença fundamental em efeitos fixos e aleatórios para modelos de efeitos mistos (geralmente não-lineares). Essa crença é, por exemplo, afirmada por Bates na seguinte resposta

https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

Bates afirma claramente que ele acredita que há uma diferença fundamental entre efeitos fixos e aleatórios, para que não possam ser combinados. Acho que ele está errado e espero convencer alguns leitores de um ponto de vista alternativo. Eu adoto uma abordagem freqüentista, então o que eu quero fazer é definir uma noção de probabilidade de perfil para uma função dos efeitos fixos e aleatórios. Para motivar a discussão, suponha que tenhamos um modelo de dois parâmetros com os parâmetros x e u (nada sobre efeitos aleatórios até agora). Seja a função de probabilidade em que suprimimos qualquer referência aos dados. Seja qualquer função (agradável) de x e u. A probabilidade do perfil para a função é dada por $L(x,u)$ $g(x,u)$ $P_g(t)$ $g$

P_{g} (t) = max_{x, u} {L (x, u) | g (x, u) = t} \eqno (1)

$P_g(t)=\max_{x,u} \{L(x,u)\ |\ g(x,u)=t \} \eqno(1)$

Eu acredito que ninguém iria discutir com isso. Agora, suponha que tenhamos uma distribuição de probabilidade anterior para u. Então, eu afirmaria que a probabilidade de perfil para ainda faz sentido, mas devemos modificar (1) incluindo o anterior. $p(u)$ $g$

P_{g} (t) = max_{x, u} {L (x, u) p (u) | g (x, u) = t} \eqno (2)

$P_g(t)=\max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=t \} \eqno(2)$ Observe que, como é um parâmetro com a priori, é exatamente o mesmo que se chama efeito aleatório. Então, por que muitas pessoas pensam que os parâmetros de efeito aleatório são de alguma forma diferentes. Acho que a diferença vem da prática usual de estimativa de parâmetros para eles. O que torna os efeitos aleatórios `` diferentes '' é que existem muitos deles em muitos modelos. Como resultado, para obter estimativas úteis para os efeitos fixos (ou outros parâmetros), é necessário tratar os efeitos aleatórios de uma maneira diferente. O que fazemos é integrá-los fora do modelo. No modelo acima, formaríamos a probabilidade onde Agora, a

u

$u$

F (x)

$F(x)$

F (x) = \int L (x, u) p (u) d u

$F(x) = \int L(x,u)p(u)du$

u

$u$ se foram. Portanto, se tudo o que temos é , parece não fazer sentido falar sobre a probabilidade do perfil para alguma função .

F (x)

$F(x)$

g (x, u)

$g(x,u)$

Portanto, para obter informações sobre a função , não devemos integrar o parâmetro . Mas o que acontece no caso em que existem muitos parâmetros de efeito aleatório. Em seguida, afirmo que devemos integrar a `` maioria '', mas não todos, em um sentido que tornarei preciso. Para motivar a construção, haja efeitos aleatórios . Considere o caso especial em que a função depende apenas de e, de fato, é a função mais simples que se pode imaginar, . Integre-se nos efeitos aleatórios para obter $g(x,u)$ $u$ $n$ $u=(u_1,u_2,...,u_{n-1},u_n)$ $g(x,u)$ $u_n$ $g(x,u)=u_n$ $u_1,u_2,...,u_{n-1}$

F (x, u_{n}) = \int L (x, u_{1}, . . ., u_{n}) p (u_{1}, . . ., u_{n})) d u_{1} d u_{2} . . . d u_{n - 1} \eqno (4)

$F(x,u_n) = \int L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_{n-1}\eqno(4)$ como antes podemos formar a probabilidade do perfil Como generalizar para que faça sentido para uma função arbitrária . Observe bem que a definição de em é a mesma que Para ver esta nota, para o caso simples , é o mesmo que

P_{g} (t) = max_{x, u_{n}} {F (x, u_{n}) | u_{n} = t} \eqno (3)

$P_g(t)=\max_{x,u_n} \{F(x,u_n) | u_n=t \} \eqno(3)$

(3)

$(3)$

g (x, u)

$g(x,u)$

F (x, u_{n})

$F(x,u_n)$

(4)

$(4)$

F (x, s) = lim_{ϵ \to 0} \frac{1}{ϵ} \int_{{(x, u_{n}) | s - ϵ / 2 < g (x, u_{n}) < s + ϵ / 2}} L (x, u_{1}, . . ., u_{n}) p (u_{1}, . . ., u_{n})) d u_{1} d u_{2} . . . d u_{n} \eqno (5)

$F(x,s) = \lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<g(x,u_n)<s+\epsilon/2\}} L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_n\eqno(5)$

g (x, u) = u_{n}

$g(x,u)=u_n$

(5)

$(5)$

F (x, s) = lim_{ϵ \to 0} \frac{1}{ϵ} \int_{{(x, u_{n}) | s - ϵ / 2 < u_{n} < s + ϵ / 2}} F (x, u_{n}) d u_{n} \eqno (6)

$F(x,s)=\lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<u_n<s+\epsilon/2\}} F(x,u_n)du_n\eqno(6)$

Para uma função geral , formamos a função definida por e calculamos a probabilidade do perfil $g(x,u)$ $F(x,s)$ $(5)$

P_{g} (s) = max_{x, u} {F (x, s) | g (x, u) = s} \eqno (3)

$P_g(s)=\max_{x,u} \{F(x,s) | g(x,u)=s \} \eqno(3)$

Essa probabilidade de perfil é um conceito bem definido e permanece por si só. No entanto, para ser útil na prática, é preciso poder calcular seu valor, pelo menos aproximadamente. Acredito que para muitos modelos a função pode ser aproximada suficientemente bem usando uma variante da aproximação de Laplace. Defina por Seja H o hessiano do log da função com relação aos parâmetros e . $F(x,s)$ $\hat x(s),\hat u(s)$

\hat{x} (s), \hat{u} (s) = max_{x, u} {L (x, u) p (u) | g (x, u) = s}

$\hat x(s),\hat u(s)= \max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=s\}$

- L (x, u) p (u)

$-L(x,u)p(u)$

x

$x$

u

$u$

Os conjuntos de níveis de são subvariedades dimensionais de um espaço dimensional , onde existem efeitos fixos e efeitos aleatórios. Precisamos integrar um formulário sobre esse coletor, onde tudo é linearizado em Isso envolve um pouco de geometria diferencial elementar. Suponha que Ao reparameterizarmos, podemos assumir que e . Então considere o mapa $g$ $m+n-1$ $n+m$ $m$ $n$ $n$ $du_1\wedge du_2\wedge\ldots\wedge du_n$ $\hat x(s),\hat u(s)$ $g_{x_n}(\hat x(s),\hat u(s))\ne 0$ $\hat x(s)=0$ $\hat u(s)=0$

(x_{1}, x_{2}, \dots, x_{m - 1}, u_{1}, u_{2}, \dots, u_{n}) \to (x_{1}, x_{2}, \dots, x_{m - 1}, \frac{- \sum_{i = 1}^{m - 1} g_{x_{i}} x_{i} - \sum_{i = 1}^{n} g_{u_{i}} u_{i}}{g_{x_{m}}}, u_{1}, u_{2}, \dots, u_{n})

$(x_1,x_2,\ldots,x_{m-1},u_1,u_2,\ldots,u_n) \rightarrow (x_1,x_2,\ldots,x_{m-1}, {-\sum_{i=1}^{m-1}g_{x_i}x_i-\sum_{i=1}^ng_{u_i}u_i\over g_{x_m}}, u_1,u_2,\ldots,u_n)$ onde é usado para denotar a derivada parcial de em relação a avaliada no ponto máximo. Este é um mapa linear do espaço dimensional para o espaço tangente do conjunto de níveis de . Podemos usá-lo para calcular a integral desejada. Primeiro, a retração das 1 formas são simplesmente elas mesmas.

g_{x_{i}}

$g_{x_i}$

g

$g$

x_{i}

$x_i$

m + n - 1

$m+n-1$

g

$g$

d u_{i}

$du_i$

O recuo do hessiano é a forma quadrática

T_{i, j} = H_{i + m, j + m} + \frac{g_{u_{i}} g_{u_{j}}}{{g_{x_{m}}}^{2}} H_{m, m} \rm for 1 <= i, j <= n

$T_{i,j} =H_{i+m,j+m}+{g_{u_i}g_{u_j}\over {g_{x_m}}^2}H_{m,m}\quad \hbox{\rm for} \ 1<=i,j<=n$

Portanto, a integral pode ser calculada (ou aproximada) através da aproximação de Laplace, que é a fórmula usual que envolve o logaritmo do determinante de , que é calculado pela decomposição de Cholesky. O valor da aproximação de Laplace da integral é queé o determinante. ainda precisamos lidar com a largura do conjunto de níveis de como Para a primeira ordem, isso tem o valor onde é o vetor de derivadas parciais de $T$

L (\hat{x} (s), \hat{u} (s)) | - T |^{\frac{1}{2}}

$L(\hat x(s),\hat u(s))|-T|^{1\over2}$

| \cdot |

$|\cdot|$

g

$g$

ϵ \to 0

$\epsilon\rightarrow 0$

ϵ / ‖ \nabla g (\hat{x} (s), \hat{u} (s)) ‖

$\epsilon/\|\nabla g(\hat x(s),\hat u(s))\|$

\nabla g (\hat{x} (s), \hat{u} (s)))

$\nabla g(\hat x(s),\hat u(s)))$

g

$g$

(g_{x_{1}}, g_{x_{2}}, \dots, g_{x_{m}}, g_{u_{1}}, g_{u_{2}}, \dots, g_{u_{n}})

$( g_{x_1}, g_{x_2}, \ldots, g_{x_m}, g_{u_1}, g_{u_2}, \ldots, g_{u_n})$ para que o valor da probabilidade no nível definido de seja fornecido por Essa é a aproximação correta a ser usada para calcular a probabilidade do perfil.

g

$g$

\frac{L (\hat{x} (s), \hat{u} (s)) | - T |^{\frac{1}{2}}}{‖ \nabla g (\hat{x} (s), \hat{u} (s)) ‖}

${L(\hat x(s),\hat u(s))|-T|^{1\over2}\over \|\nabla g(\hat x(s),\hat u(s))\|}$

— Dave Fournier
fonte