Como comparar a repetibilidade (ICC) de diferentes grupos?

Eu calculei os valores de ICC para dois grupos e agora gostaria de comparar os valores de ICC para determinar se os grupos diferem em sua repetibilidade. Na literatura, as pessoas simplesmente usaram testes t para comparar a repetibilidade, mas não está claro para mim como fazer isso.

Por exemplo, com os dados fictícios:

ID  gr  day behaviour
1   1   1   0.361
2   1   1   0.232
3   1   1   0.240
4   1   1   0.693
5   1   1   0.483
6   1   1   0.267
7   2   1   0.180
8   2   1   0.515
9   2   1   0.485
10  2   1   0.567
11  2   1   0.000
12  2   1   0.324
1   1   2   0.055
2   1   2   0.407
3   1   2   0.422
4   1   2   0.174
5   1   2   0.613
6   1   2   0.311
7   2   2   0.631
8   2   2   0.283
9   2   2   0.512
10  2   2   0.127
11  2   2   0.000
12  2   2   0.000

Posso obter as medidas de repetibilidade para o grupo 1 e 2 da seguinte maneira:

library(ICC)
g1 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
g2 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])

Mas como posso agora determinar se a repetibilidade do grupo1 é diferente do grupo2?

r t-test intraclass-correlation repeatability

— crazjo
fonte

Percebo que cada um de seus grupos possui apenas 2 grupos. Definitivamente, isso não é ideal e certamente é a razão pela qual os intervalos de confiança em torno de suas estimativas da ICC são extremamente amplos (o que vejo na resposta de @ JamesStanley abaixo), pelo menos para este exemplo de conjunto de dados que você forneceu. No seu conjunto de dados real , você tem apenas 2 clusters por grupo ou (espero) mais clusters do que isso? Se mais, quantos por grupo?

— Jake Westfall

O que você quer dizer exatamente com 2 clusters? Eu testei dois grupos duas vezes sim, não vejo por que isso não é ideal? Agora eu executei testes de permutação para comparar o CCI de ambos os grupos (r = 0,77, IC 95%: 0,54, 0,91 e para o grupo 2 r = 0,24, IC 95%: 0,07, 0,57), o que revela que o grupo 1 tem repetibilidade significativamente maior nesse grupo 2

— crazjo 10/01

Talvez devêssemos voltar. O ICC é aplicável a dados agrupados (isto é, multiníveis). É uma maneira de medir quão semelhantes, em média, são duas observações extraídas do mesmo cluster, em relação a duas observações extraídas aleatoriamente do conjunto de dados ignorando o agrupamento. Na prática, é calculada como a razão entre a variação entre os cluster e a variação total. Portanto, se você tiver apenas 2 clusters em cada um dos seus grupos, a estimativa da variação entre os cluster será baseada apenas em 2 pontos de dados. Imagine tentar estimar, digamos, a média ou desvio padrão de um conjunto de dados que consiste em apenas 2 pontos de dados!

— Jake Westfall

Quanto ao seu teste de permutação, eu ficaria muito interessado em ver exatamente como isso foi conduzido. Eu estava pensando em postar uma solução com base em um teste de inicialização ou permutação. Observe que esse tipo de coisa deve ser feito com muito cuidado com dados em vários níveis!

— Jake Westfall

Deixando de lado questões materiais sobre a pergunta do estudo e os dados de demonstração (e o tamanho da amostra para obter uma estimativa razoável de um ICC), a saída que você está obtendo da ICCestfunção tem intervalos de confiança anexados: como ponto de partida para comparar grupos, você pode considerar se há sobreposição entre cada intervalo de confiança e a estimativa pontual do TPI do outro grupo.

De qualquer forma, relatar a estimativa pontual do TPI e o intervalo de confiança para cada grupo será mais útil (e, portanto, eu recomendaria relatar isso em qualquer instância) do que relatar apenas as estimativas pontuais e o resultado de algum tipo de teste de hipótese.

dummy <- structure(list(ID = c(1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L,
                  11L, 12L, 1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L, 11L, 12L), 
           gr = c(1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L, 1L, 
                  1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L), 
           day = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 
                   2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L), 
           behaviour = c(0.361, 0.232, 0.24, 0.693, 0.483, 0.267, 0.18, 0.515, 0.485,
                         0.567, 0, 0.324, 0.055, 0.407, 0.422, 0.174, 0.613, 0.311, 
                         0.631, 0.283, 0.512, 0.127, 0, 0)), 
           .Names = c("ID", "gr", "day", "behaviour"), 
          class = "data.frame", row.names = c(NA, -24L))

library(ICC)
ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
# First few lines of console output:
#$ICC
#[1] -0.1317788
#$LowerCI
#[1] -0.7728603
#$UpperCI
#[1] 0.6851783

ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])
# First few lines of console output:
#$ICC
#[1] 0.1934523
#$LowerCI
#[1] -0.6036826
#$UpperCI
#[1] 0.8233986

— James Stanley
fonte

Obrigado James, a saída que obtive dos dados reais mostrados para o grupo 1: r = 0.77, 95% CI: 0.54, 0.91e para o grupo 2 r = 0.77, 95% CI: 0.07, 0.57. Você pode ver que o grupo 1 teve uma consistência relativamente muito alta, enquanto o grupo 2, em média, consistência moderada, mas os intervalos de confiança dos dois grupos mal se sobrepõem. Eu poderia escrever em um grupo de manuscritos 2 foi consideravelmente menos consistente que o grupo 1 (acima das estatísticas)? Entendo que você sugere que isso seria melhor do que executar um teste para compará-los, mas ainda assim seria bom saber como comparar os valores de ICC de dois grupos.

— crazjo

Eu me sentiria confortável lendo as duas ICCs impressas no seu comentário como indicando diferentes confiabilidade (suponho que o grupo 2 r tenha um erro de digitação e seja de fato ~ = 0,32) - a sobreposição ocorre entre o intervalo de confiança termina, em vez de um determinado intervalo de confiança e a estimativa de pontos opostos, que, se fossem diferenças nas médias, provavelmente corresponderiam a um resultado do teste t "significativo" em p <0,05.

— James Stanley