Mostrando que 100 medidas para 5 sujeitos fornecem muito menos informações do que 5 medidas para 100 sujeitos

Em uma conferência, ouvi a seguinte declaração:

100 medições para 5 sujeitos fornecem muito menos informações do que 5 medições para 100 sujeitos.

É meio óbvio que isso é verdade, mas eu queria saber como alguém poderia provar isso matematicamente ... Eu acho que um modelo misto linear poderia ser usado. No entanto, eu não sei muito sobre a matemática usada para lmer4calculá- las (eu apenas corro para LMMs e bmrsGLMMs :) Você poderia me mostrar um exemplo em que isso é verdade? Eu preferiria uma resposta com algumas fórmulas, do que apenas algum código em R. Sinta-se livre para assumir uma configuração simples, como por exemplo modelo misto linear com interceptações e inclinações aleatórias normalmente distribuídas.

PS: uma resposta baseada em matemática que não envolva LMMs também seria aceitável. Pensei nos LMMs porque eles me pareciam a ferramenta natural para explicar por que menos medidas de mais assuntos são melhores do que mais medidas de poucos assuntos, mas posso estar errado.

— DeltaIV
fonte

+1. Acho que a configuração mais simples seria considerar uma tarefa de estimar a média da população que cada sujeito tem sua própria média e cada medida desse assunto é distribuída como . Se tomarmos medições de cada um dos sujeitos, em seguida, o que é o óptimo forma de conjunto de e dada constante produto

μ

$\mu$

a \sim N (μ, σ_{a}^{2})

$a \sim \mathcal N(\mu, \sigma_a^2)$

x \sim N (a, σ^{2})

$x \sim \mathcal N(a, \sigma^2)$

n

$n$

m

$m$

n

$n$

m

$m$

n m = N

$nm=N$

— Ameba diz Reinstate Monica

"Ótimo" no sentido de minimizar a variação da média amostral dos

adquiridos.

N

$N$

— Ameba diz Reinstate Monica

Sim. Mas, para sua pergunta, não precisamos nos preocupar em como estimar as variações; sua pergunta (ou seja, a citação em sua pergunta) é que acredito apenas em estimar a média global

e parece óbvio que o melhor estimador é dado pela grande média

de todos os

pontos da amostra. A questão então é: dados

, qual é a variação de

? Se soubermos disso, seremos capazes de minimizá-lo em relação a

dado o

μ

$\mu$

\bar{x}

$\bar x$

N = n m

$N=nm$

μ

$\mu$

σ^{2}

$\sigma^2$

σ_{a}^{2}

$\sigma^2_a$

n

$n$

m

$m$

\bar{x}

$\bar x$

n

$n$

restrição.

n m = N

$nm=N$

— Ameba diz Reinstate Monica

Não sei como derivar nada disso, mas concordo que parece óbvio: para estimar a variação do erro, seria melhor ter todas as medidas de

de um único sujeito; e para estimar a variação de sujeitos (provavelmente?) seria melhor ter

sujeitos diferentes com 1 medida cada. Não é tão claro quanto à média, mas minha intuição me diz que ter

sujeitos com 1 medida cada seria melhor também. Gostaria de saber se isso é verdade ...

N

$N$

N

$N$

N

$N$

— ameba diz Reinstate Monica

Talvez algo assim: A variação da média da amostra por sujeito deve ser

, onde o primeiro termo é a variação do sujeito e o segundo é a variação da estimativa da média de cada sujeito. Então a variância da média dos sujeitos em excesso (ou seja, média geral) será

σ_{a}^{2} + σ^{2} / n

$\sigma^2_a + \sigma^2/n$

o que é minimizado quando

(σ_{a}^{2} + σ^{2} / n) / m = σ_{a}^{2} / m + σ^{2} / (n m) = σ_{a}^{2} / m + σ^{2} / N = σ_{a}^{2} / m + c o n s t,

$(\sigma^2_a + \sigma^2/n)/m = \sigma^2_a/m + \sigma^2/(nm) = \sigma^2_a/m + \sigma^2/N = \sigma^2_a/m + \mathrm{const},$

m = N

$m=N$

— Ameba diz Reinstate Monica

A resposta curta é que sua conjectura é verdadeira quando e somente quando há uma correlação intra-classe positiva nos dados . Empiricamente falando, a maioria dos conjuntos de dados agrupados na maioria das vezes mostra uma correlação intra-classe positiva, o que significa que, na prática, sua conjectura é geralmente verdadeira. Mas se a correlação intra-classe for 0, os dois casos mencionados são igualmente informativos. E se a correlação intra-classe for negativa , será menos informativo fazer menos medições em mais assuntos; na verdade, preferimos (no que diz respeito à redução da variação da estimativa de parâmetros) fazer todas as nossas medições em um único assunto.

Estatisticamente, há duas perspectivas a partir do qual podemos pensar sobre isso: um de efeitos aleatórios (ou mista ) modelo , que você menciona na sua pergunta, ou um modelo marginal , o que acaba sendo um pouco mais informativo aqui.

Modelo de efeitos aleatórios (misto)

Digamos que temos um conjunto de assuntos dos quais fizemos medições cada. Em seguida, um modelo de efeitos aleatórios simples do th medição do th sujeito pode ser onde é a intercepção fixo, é o efeito sujeito aleatório (com variância ), é o termo de erro no nível de observação (com variação $n$ $m$ $j$ $i$

y_{i j} = β + u_{i} + e_{i j},

$y_{ij} = \beta + u_i + e_{ij},$

β

$\beta$

u_{i}

$u_i$

σ_{u}^{2}

$\sigma^2_u$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$ ) e os dois últimos termos aleatórios são independentes.

Nesse modelo, representa a média da população e, com um conjunto de dados equilibrado (ou seja, um número igual de medidas de cada sujeito), nossa melhor estimativa é simplesmente a média da amostra. Portanto, se tomarmos "mais informações" para significar uma variação menor para essa estimativa, basicamente queremos saber como a variação da média da amostra depende de e . Com um pouco de álgebra, podemos descobrir que $\beta$ $n$ $m$ Examinando essa expressão, podemos ver quesemprequehouver qualquer variação de assunto(ou seja,), aumentar o número de sujeitos () tornará esses dois termos menores, enquanto aumenta o número de medições por sujeito () apenas tornará o segundo termo menor. (Para uma implicação prática disso na criação de projetos de replicação para vários sites, consulteesta postagem do blog que escrevi há pouco tempo.)

\begin{aligned} var (\frac{1}{n m} \sum_{i} \sum_{j} y_{i j}) & = var (\frac{1}{n m} \sum_{i} \sum_{j} β + u_{i} + e_{i j}) \\ = \frac{1}{n^{2} m^{2}} var (\sum_{i} \sum_{j} u_{i} + \sum_{i} \sum_{j} e_{i j}) \\ = \frac{1}{n^{2} m^{2}} (m^{2} \sum_{i} var (u_{i}) + \sum_{i} \sum_{j} var (e_{i j})) \\ = \frac{1}{n^{2} m^{2}} (n m^{2} σ_{u}^{2} + n m σ_{e}^{2}) \\ = \frac{σ_{u}^{2}}{n} + \frac{σ_{e}^{2}}{n m} . \end{aligned}

$\begin{aligned} \text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) &= \text{var}(\frac{1}{nm}\sum_i\sum_j\beta + u_i + e_{ij}) \\ &= \frac{1}{n^2m^2}\text{var}(\sum_i\sum_ju_i + \sum_i\sum_je_{ij}) \\ &= \frac{1}{n^2m^2}\Big(m^2\sum_i\text{var}(u_i) + \sum_i\sum_j\text{var}(e_{ij})\Big) \\ &= \frac{1}{n^2m^2}(nm^2\sigma^2_u + nm\sigma^2_e) \\ &= \frac{\sigma^2_u}{n} + \frac{\sigma^2_e}{nm}. \end{aligned}$

σ_{u}^{2} > 0

$\sigma^2_u>0$

n

$n$

m

$m$

Agora você queria saber o que acontece quando aumentamos ou diminuímos ou , mantendo constante o número total de observações. Portanto, para isso, consideramos uma constante, de modo que toda a expressão de variação se pareça com $m$ $n$ $nm$ que é o menor possível quandoé o maior possível (até um máximo de, nesse caso, o que significa que fazemos uma única medição de cada sujeito).

\frac{σ_{u}^{2}}{n} + constant,

$\frac{\sigma^2_u}{n} + \text{constant},$

n

$n$

n = n m

$n=nm$

m = 1

$m=1$

Minha resposta curta se refere à correlação intra-classe, então onde isso se encaixa? Neste modelo simples de efeitos aleatórios, a correlação intra-classe é (esboço de uma derivaçãoaqui). Então, podemos escrever a equação de variância acima como

ρ = \frac{σ_{u}^{2}}{σ_{u}^{2} + σ_{e}^{2}}

$\rho = \frac{\sigma^2_u}{\sigma^2_u + \sigma^2_e}$

Isso realmente não adiciona nenhum insight ao que já vimos acima, mas nos faz pensar: uma vez que a correlação intra-classe é um coeficiente de correlação de boa-fé e coeficientes de correlação pode ser negativo, o que aconteceria (e o que isso significaria) se a correlação intra-classe fosse negativa?

var (\frac{1}{n m} \sum_{i} \sum_{j} y_{i j}) = \frac{σ_{u}^{2}}{n} + \frac{σ_{e}^{2}}{n m} = (\frac{ρ}{n} + \frac{1 - ρ}{n m}) (σ_{u}^{2} + σ_{e}^{2})

$\text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) = \frac{\sigma^2_u}{n} + \frac{\sigma^2_e}{nm} = \Big(\frac{\rho}{n} + \frac{1-\rho}{nm}\Big)(\sigma^2_u+\sigma^2_e)$

No contexto do modelo de efeitos aleatórios, uma correlação intra-classe negativa realmente não faz sentido, porque implica que a variação de assunto é de alguma forma negativa (como podemos ver na equação acima e como explicada aqui e aqui ) ... mas as variações não podem ser negativas! Mas isso não significa que o conceito de correlação intra-classe negativa não faça sentido; significa apenas que o modelo de efeitos aleatórios não tem como expressar esse conceito, que é uma falha do modelo, não do conceito. Para expressar esse conceito adequadamente, precisamos considerar o modelo marginal. $\sigma^2_u$ $\rho$

Modelo marginal

$y_{ij}$

y_{i j} = β + e_{i j}^{*},

$y_{ij} = \beta + e^*_{ij},$

u_{i}

$u_i$

e_{i j}

$e_{ij}$

e_{i j}^{*} = u_{i} + e_{i j}

$e^*_{ij} = u_i + e_{ij}$

u_{i}

$u_i$

e_{i j}

$e_{ij}$

e_{i j}^{*}

$e^*_{ij}$

C

$\textbf{C}$

C = σ^{2} [\begin{matrix} R & 0 & \dots & 0 \\ 0 & R & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & R \end{matrix}], R = [\begin{matrix} 1 & ρ & \dots & ρ \\ ρ & 1 & \dots & ρ \\ ⋮ & ⋮ & ⋱ & ⋮ \\ ρ & ρ & \dots & 1 \end{matrix}]

$\textbf{C}= \sigma^2\begin{bmatrix} \textbf{R} & 0& \cdots & 0\\ 0& \textbf{R} & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0& 0& \cdots &\textbf{R}\\ \end{bmatrix}, \textbf{R}= \begin{bmatrix} 1 & \rho & \cdots & \rho \\ \rho & 1 & \cdots & \rho \\ \vdots & \vdots & \ddots & \vdots \\ \rho & \rho & \cdots &1\\ \end{bmatrix}$ In words, this means that under the marginal model we simply consider

ρ

$\rho$ to be the expected correlation between two

e^{*}

$e^*$ s from the same subject (we assume the correlation across subjects is 0). When

ρ

$\rho$ é positivo, duas observações extraídas do mesmo assunto tendem a ser mais semelhantes (mais próximas), em média, do que duas observações extraídas aleatoriamente do conjunto de dados, ignorando o agrupamento devido aos sujeitos. Quando

ρ

$\rho$ for negativo , duas observações extraídas do mesmo assunto tendem a ser menos semelhantes (mais afastadas), em média, do que duas observações extraídas completamente ao acaso. (Mais informações sobre esta interpretação nas perguntas / respostas aqui .)

Então agora, quando olhamos para a equação para a variância da média da amostra no modelo marginal, temos

\begin{aligned} var (\frac{1}{n m} \sum_{Eu} \sum_{j} y_{Eu j}) & = var (\frac{1}{n m} \sum_{Eu} \sum_{j} β + e_{Eu j}^{*}) \\ = \frac{1}{n^{2} m^{2}} var (\sum_{Eu} \sum_{j} e_{Eu j}^{*}) \\ = \frac{1}{n^{2} m^{2}} (n (m σ^{2} + (m^{2} - m) ρ σ^{2})) \\ = \frac{σ^{2} (1 + (m - 1) ρ)}{n m} \\ = (\frac{ρ}{n} + \frac{1 - ρ}{n m}) σ^{2}, \end{aligned}

$\begin{aligned} \text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) &= \text{var}(\frac{1}{nm}\sum_i\sum_j\beta + e^*_{ij}) \\ &= \frac{1}{n^2m^2}\text{var}(\sum_i\sum_je^*_{ij}) \\ &= \frac{1}{n^2m^2}\Big(n\big(m\sigma^2 + (m^2-m)\rho\sigma^2\big)\Big) \\ &= \frac{\sigma^2\big(1+(m-1)\rho\big)}{nm} \\ &= \Big(\frac{\rho}{n}+\frac{1-\rho}{nm}\Big)\sigma^2, \end{aligned}$ que é a mesma expressão de variação que derivamos acima para o modelo de efeitos aleatórios, apenas com

σ_{e}^{2} + σ_{u}^{2} = σ^{2}

$\sigma^2_e+\sigma^2_u=\sigma^2$ , o que é consistente com nossa observação acima

e_{i j}^{*} = u_{i} + e_{i j}

$e^*_{ij} = u_i + e_{ij}$ . The advantage of this (statistically equivalent) perspective is that here we can think about a negative intra-class correlation without needing to invoke any weird concepts like a negative subject variance. Negative intra-class correlations just fit naturally in this framework.

(BTW, just a quick aside to point out that the second-to-last line of the derivation above implies that we must have $\rho \ge -1/(m-1)$ , or else the whole equation is negative, but variances can't be negative! So there is a lower bound on the intra-class correlation that depends on how many measurements we have per cluster. For $m=2$ (i.e., we measure each subject twice), the intra-class correlation can go all the way down to $\rho=-1$ ; para $m=3$ só pode descer para $\rho=-1/2$ ; e assim por diante. Fato engraçado!)

Então, finalmente, mais uma vez considerando o número total de observações $nm$ para ser uma constante, vemos que a penúltima linha da derivação acima se parece com

(1 + (m - 1) ρ) \times constante positiva .

$\big(1+(m-1)\rho\big) \times \text{positive constant}.$ Então quando

ρ > 0

$\rho>0$ , tendo

m

$m$ o menor possível (para que tomemos menos medidas de mais sujeitos - no limite, 1 medida de cada sujeito) reduz a variação da estimativa o menor possível. Mas quando

ρ < 0

$\rho<0$ , nós realmente queremos

m

$m$ ser o maior possível (para que, no limite, tomemos todas as

n m

$nm$ medições de um único sujeito), a fim de tornar a variação o menor possível. E quando

ρ = 0

$\rho=0$ , a variação da estimativa é apenas uma constante; portanto, nossa alocação de

m

$m$ e

n

$n$ não importa.

— Jake Westfall
fonte

+1. Ótima resposta. Eu tenho que admitir que a segunda parte, sobre

ρ < 0

$\rho<0$ , é bastante pouco intuitivo: mesmo com um número total enorme (ou infinito)

n m

$nm$ de observações, o melhor que podemos fazer é alocar todas as observações para um único sujeito, significando que o erro padrão da média será

σ_{u}

$\sigma_u$ e, em princípio, não é possível reduzi-lo ainda mais. Isso é tão estranho! Verdade

β

$\beta$ permanece incognoscível, quaisquer que sejam os recursos que se ponha para medi-lo. Esta interpretação está correta?

— Ameba diz Reinstate Monica

Ah não. O exposto acima não está correto porque, como

m

$m$ aumenta para o infinito,

ρ

$\rho$ não pode permanecer negativo e precisa se aproximar de zero (correspondendo à variação de assunto zero). Hmm. Essa correlação negativa é uma coisa engraçada: não é realmente um parâmetro do modelo generativo porque é limitado pelo tamanho da amostra (enquanto que normalmente seria de esperar que um modelo generativo pudesse gerar qualquer número de observações, quaisquer que fossem os parâmetros). Não sei bem qual é a maneira correta de pensar sobre isso.

— Ameba diz Reinstate Monica

@DeltaIV O que é "a matriz de covariância dos efeitos aleatórios" neste caso? No modelo misto escrito por Jake acima, existe apenas um efeito aleatório e, portanto, não existe realmente uma "matriz de covariância", mas apenas um número:

σ_{u}^{2}

$\sigma^2_u$ . o que

Σ

$\Sigma$ você está se referindo?

— Ameba diz Reinstate Monica

@DeltaIV Bem, o princípio geral é en.wikipedia.org/wiki/Inverse-variance_weighting , e a variação da média amostral de cada sujeito é dada por

σ_{u}^{2} + σ_{e}^{2} / m_{i}

$\sigma^2_u + \sigma^2_e/m_i$ (é por isso que Jake escreveu acima que os pesos precisam depender da estimativa da variação entre os sujeitos). A estimativa da variação dentro do sujeito é dada pela variação dos desvios dentro do sujeito, a estimativa da variação entre sujeitos é a variação dos meios dos sujeitos, e usando tudo o que se pode calcular os pesos. (Mas não tenho certeza se isso é 100% equivalente ao que o lmer fará.)

— Ameba diz Reinstate Monica

Jake, sim, é exatamente esse código

m

$m$ isso estava me incomodando. Se este for "tamanho da amostra", não poderá ser um parâmetro do sistema subjacente. Meu pensamento atual é que negativo

ρ

$\rho$ deve realmente indicar que existe outro fator dentro do assunto que é ignorado / desconhecido para nós. Por exemplo, pode ser antes e depois de alguma intervenção e a diferença entre elas é tão grande que as medidas são negativamente correlacionadas. Mas isso significaria que

m

$m$ não é realmente um tamanho de amostra, mas o número de níveis desse fator desconhecido, e que certamente pode ser codificado ...

— Ameba diz Reinstate Monica