Acabei de me deparar com este artigo , que descreve como calcular a repetibilidade (também conhecida como confiabilidade, também conhecida como correlação intraclasse) de uma medição via modelagem de efeitos mistos. O código R seria:

#fit the model
fit = lmer(dv~(1|unit),data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
intercept_var = attr(vc$id,'stddev')[1]^2

#compute the unadjusted repeatability
R = intercept_var/(intercept_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit))
    k = nrow(n)
    N = sum(n$Freq)
n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Acredito que essa abordagem também possa ser usada para calcular a confiabilidade dos efeitos (isto é, o efeito de contraste da soma de uma variável com 2 níveis), como em:

#make sure the effect variable has sum contrasts
contrasts(my_data$iv) = contr.sum

#fit the model
fit = lmer(dv~(iv|unit)+iv,data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
effect_var = attr(vc$id,'stddev')[2]^2

#compute the unadjusted repeatability
R = effect_var/(effect_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit,my_data$iv))
k = nrow(n)
N = sum(n$Freq)
    n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Três perguntas:

Os cálculos acima para obter a estimativa pontual da repetibilidade de um efeito fazem sentido?
Quando tenho várias variáveis cuja repetibilidade quero estimar, adicioná-las todas ao mesmo ajuste (por exemplo lmer(dv~(iv1+iv2|unit)+iv1+iv2) parece produzir estimativas de repetibilidade mais altas do que criar um modelo separado para cada efeito. Isso faz sentido computacionalmente para mim, pois a inclusão de múltiplos efeitos tende a diminuir a variação residual, mas não tenho certeza de que as estimativas de repetibilidade resultantes sejam válidas. São eles?
O artigo citado acima sugere que o perfil de probabilidade pode me ajudar a obter intervalos de confiança para as estimativas de repetibilidade, mas, tanto quanto posso dizer, confint(profile(fit))fornece apenas intervalos para as variações de interceptação e efeito, enquanto eu precisaria adicionalmente do intervalo para calcular a variação residual o intervalo para a repetibilidade, não?

mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

— Mike Lawrence
fonte

Eu acho que posso responder suas perguntas pelo menos a respeito das estimativas de repetibilidade não ajustadas , ou seja, as correlações intraclasses (ICCs) clássicas. Quanto às estimativas de repetibilidade "ajustadas", passei os olhos pelo artigo que você vinculou e realmente não vi onde a fórmula aplicada pode ser encontrada no artigo? Com base na expressão matemática, parece ser a repetibilidade das pontuações médias (em vez das pontuações individuais). Mas não está claro se essa é uma parte crítica da sua pergunta, então eu a ignorarei.

(1.) Os cálculos acima para obter a estimativa pontual da repetibilidade de um efeito fazem sentido?

Sim, a expressão que você propõe faz sentido, mas é necessária uma pequena modificação na fórmula proposta. Abaixo, mostro como é possível derivar o coeficiente de repetibilidade proposto. Espero que isso esclareça o significado conceitual do coeficiente e também mostre por que seria desejável modificá-lo um pouco.

Para começar, vamos primeiro pegar o coeficiente de repetibilidade no seu primeiro caso e esclarecer o que significa e de onde vem. Compreender isso nos ajudará a entender o segundo caso mais complicado.

Apenas interceptações aleatórias

Neste caso, o modelo de mistura para a th resposta no th grupo é onde as intercepções aleatórios possui variância e os resíduos tem variância . $i$ $j$

y_{Eu j} = β_{0 0} + {você}_{0 0 j} + e_{Eu j},

$y_{ij} = \beta_0 + u_{0j} + e_{ij},$

u_{0 j}

$u_{0j}$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

Agora, a correlação entre duas variáveis aleatórias e é definida como $x$ $y$

c o r r = \frac{c o v (x, y)}{\sqrt{v uma r (x) v uma r (y)}} .

$corr = \frac{cov(x, y)}{\sqrt{var(x)var(y)}}.$

A expressão para o coeficiente de ICC / repetibilidade, em seguida, trata de deixar as duas variáveis aleatórias e ser duas observações retirados do mesmo grupo, $x$ $y$ $j$ e se você simplificar isso usando as definições dadas acima e as propriedades das variações / covariâncias (um processo que não mostrarei aqui, a menos que você ou outras pessoas prefiram que eu fiz), você termina com

Eu C C = \frac{c o v (β_{0 0} + {você}_{0 0 j} + e_{{Eu}_{1} j}, β_{0 0} + {você}_{0 0 j} + e_{{Eu}_{2} j})}{\sqrt{v uma r (β_{0 0} + {você}_{0 0 j} + e_{{Eu}_{1} j}) v uma r (β_{0 0} + {você}_{0 0 j} + e_{{Eu}_{2} j})}},

$ICC = \frac{cov(\beta_0 + u_{0j} + e_{i_1j}, \beta_0 + u_{0j} + e_{i_2j})}{\sqrt{var(\beta_0 + u_{0j} + e_{i_1j})var(\beta_0 + u_{0j} + e_{i_2j})}},$

O que isso significa é que o ICC ou "coeficiente de repetibilidade não ajustado", neste caso, tem uma interpretação simples como a correlação esperada entre as observações de um par do mesmo cluster (líquido dos efeitos fixos, que neste caso é apenas a grande média). O fato de o TPI também ser interpretável como umaproporção de variaçãoneste caso é coincidente; essa interpretação não é verdadeira em geral para ICCs mais complicados. A interpretação como algum tipo de correlação é o principal.

Eu C C = \frac{σ_{{você}_{0 0}}^{2}}{σ_{{você}_{0 0}}^{2} + σ_{e}^{2}} .

$ICC = \frac{\sigma^2_{u_0}}{\sigma^2_{u_0} + \sigma^2_e}.$

Interceptações aleatórias e inclinações aleatórias

Agora, para o segundo caso, precisamos primeiro esclarecer o que exatamente se entende por "a confiabilidade dos efeitos (isto é, o efeito da soma do contraste de uma variável com 2 níveis)" - suas palavras.

$i$ $j$ $k$ $x$

y_{Eu j k} = β_{0 0} + β_{1} x_{k} + {você}_{0 0 j} + {você}_{1 j} x_{k} + e_{Eu j k},

$y_{ijk} = \beta_0 + \beta_1x_k + u_{0j} + u_{1j}x_k + e_{ijk},$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

σ_{u_{1}}^{2}

$\sigma^2_{u_1}$

σ_{u_{01}}

$\sigma_{u_{01}}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

$j$ $i$

$x$ $|x_1|=|x_2|=x$

y_{{Eu}_{1} j k_{2}} - y_{{Eu}_{1} j k_{1}} = (β_{0 0} - β_{0 0}) + β_{1} (x_{k_{2}} - x_{k_{1}}) + ({você}_{0 0 j} - {você}_{0 0 j}) + {você}_{1 j} (x_{k_{2}} - x_{k_{1}}) + (e_{{Eu}_{1} j k_{2}} - e_{{Eu}_{1} j k_{1}}) = 2 x β_{1} + 2 x {você}_{1 j} + e_{{Eu}_{1} j k_{2}} - e_{{Eu}_{1} j k_{1}}

$y_{i_1jk_2}-y_{i_1jk_1}=(\beta_0-\beta_0)+\beta_1(x_{k_2}-x_{k_1})+(u_{0j}-u_{0j})+u_{1j}(x_{k_2}-x_{k_1})+(e_{i_1jk_2}-e_{i_1jk_1}) \\=2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}$

y_{{Eu}_{2} j k_{2}} - y_{{Eu}_{2} j k_{1}} = 2 x β_{1} + 2 x {você}_{1 j} + e_{{Eu}_{2} j k_{2}} - e_{{Eu}_{2} j k_{1}} .

$y_{i_2jk_2}-y_{i_2jk_1}=2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1}.$

Plugging these into the correlation formula gives us

Eu C C = \frac{c o v (2 x β_{1} + 2 x {você}_{1 j} + e_{{Eu}_{1} j k_{2}} - e_{{Eu}_{1} j k_{1}}, 2 x β_{1} + 2 x {você}_{1 j} + e_{{Eu}_{2} j k_{2}} - e_{{Eu}_{2} j k_{1}})}{\sqrt{v uma r (2 x β_{1} + 2 x {você}_{1 j} + e_{{Eu}_{1} j k_{2}} - e_{{Eu}_{1} j k_{1}}) v uma r (2 x β_{1} + 2 x {você}_{1 j} + e_{{Eu}_{2} j k_{2}} - e_{{Eu}_{2} j k_{1}})}},

$ICC = \frac{cov(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}, 2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}{\sqrt{var(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1})var(2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}},$ o que simplifica até

Eu C C = \frac{2 x^{2} σ_{{você}_{1}}^{2}}{2 x^{2} σ_{{você}_{1}}^{2} + σ_{e}^{2}} .

$ICC = \frac{2x^2\sigma^2_{u_1}}{2x^2\sigma^2_{u_1} + \sigma^2_e}.$ Observe que o TPI é tecnicamente uma função de

x

$x$ ! No entanto, neste caso

x

$x$ pode levar apenas 2 valores possíveis e o ICC é idêntico em ambos os valores.

Como você pode ver, isso é muito semelhante ao coeficiente de repetibilidade que você propôs na sua pergunta, a única diferença é que a variação aleatória da inclinação deve ser adequadamente dimensionada para que a expressão seja interpretada como um ICC ou "coeficiente de repetibilidade não ajustado". A expressão que você escreveu funciona no caso especial em que o $x$ preditor é codificado $\pm\frac{1}{\sqrt{2}}$ , mas não em geral.

(2.) Quando eu tenho várias variáveis cuja repetibilidade eu quero estimar, adicioná-las todas ao mesmo ajuste (por exemplo lmer(dv~(iv1+iv2|unit)+iv1+iv2) parece produzir estimativas de repetibilidade mais altas do que criar um modelo separado para cada efeito. Isso faz sentido computacionalmente para mim, pois a inclusão de múltiplos efeitos tende a diminuir a variação residual, mas não tenho certeza de que as estimativas de repetibilidade resultantes sejam válidas. São eles?

Acredito que trabalhar com uma derivação semelhante à apresentada acima para um modelo com múltiplos preditores com suas próprias inclinações aleatórias mostraria que o coeficiente de repetibilidade acima ainda seria válido, exceto pela complicação adicional de que as pontuações de diferença em que estamos conceitualmente interessados agora temos uma definição ligeiramente diferente: a saber, estamos interessados na correlação esperada das diferenças entre médias ajustadas após o controle para os outros preditores do modelo.

Se os outros preditores forem ortogonais ao preditor de interesse (como em, por exemplo, um experimento equilibrado), eu pensaria que o coeficiente ICC / repetibilidade elaborado acima deve funcionar sem nenhuma modificação. Se eles não forem ortogonais, você precisará modificar a fórmula para levar isso em consideração, o que pode ser complicado, mas espero que minha resposta tenha dado algumas dicas sobre como isso pode ser.

— Jake Westfall
fonte

Você está certo, Jake. O TPI ajustado refere-se à seção VII. REPEATABILIDADE EXTRAPOLADA E HERITABILIDADE no artigo vinculado. Os autores escrevem É importante distinguir entre a repetibilidade de medições individuais $R$ e a repetibilidade dos meios de medição $R_n$ .

— Gabra 11/11

Cálculo da repetibilidade dos efeitos de um modelo mais antigo

Apenas interceptações aleatórias

Interceptações aleatórias e inclinações aleatórias