Computando a confiabilidade entre avaliadores em R com número variável de classificações?

A Wikipedia sugere que uma maneira de analisar a confiabilidade entre avaliadores é usar um modelo de efeitos aleatórios para calcular a correlação intraclasse . O exemplo da correlação intraclasse fala sobre olhar para

de um modelo

"onde Y _ij é a j- ^ésima observação no i- ^ésimo grupo, μ é uma média geral não observada, α _i é um efeito aleatório não observado compartilhado por todos os valores do grupo i, e _ij é um termo de ruído não observado."

Este é um modelo atraente, especialmente porque, em meus dados, nenhum avaliador avaliou todas as coisas (embora a maioria tenha avaliado mais de 20), e as coisas são classificadas um número variável de vezes (geralmente 3-4).

Pergunta # 0: "grupo i" nesse exemplo ("grupo i") é um agrupamento de itens que estão sendo classificados?

Pergunta nº 1: Se estou procurando confiabilidade entre avaliadores, não preciso de um modelo de efeitos aleatórios com dois termos, um para o avaliador e outro para a coisa classificada? Afinal, ambos têm variação possível.

Pergunta 2: Como eu melhor expressaria esse modelo em R?

Parece que esta pergunta tem uma proposta interessante:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

Eu olhei para algumas perguntas e a sintaxe do parâmetro "random" para lme ​​é opaca para mim. Eu li a página de ajuda do lme , mas a descrição para "aleatório" é incompreensível para mim sem exemplos.

Esta questão é um pouco semelhante a uma longa lista de perguntas , sendo esta a mais próxima. No entanto, a maioria não aborda R em detalhes.

O modelo que você referenciou na sua pergunta é chamado de "modelo unidirecional". Ele assume que os efeitos aleatórios de linha são a única fonte sistemática de variação. No caso de confiabilidade entre avaliadores, as linhas correspondem aos objetos de medição (por exemplo, sujeitos).

Modelo unidirecional : onde μ é a média para todos os objetos, r i é o efeito de linha e w i j é o efeito residual.

$$x_{ij} = \mu + r_i + w_{ij}$$ $\mu$$r_i$$w_{ij}$

No entanto, também existem "modelos bidirecionais". Eles assumem que há variação associada a efeitos de linha aleatórios, bem como efeitos de coluna aleatórios ou fixos. No caso de confiabilidade entre avaliadores, as colunas correspondem às fontes de medição (por exemplo, avaliadores).

Modelos bidirecionais : x i j = μ + r i + c j + e i j onde μ é a média de todos os objetos, r i é o efeito fileira, c j é o efeito coluna, r c i j é o efeito de interacção, e

$$x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$$ $$x_{ij} = \mu + r_i + c_j + e_{ij}$$ $\mu$$r_i$$c_j$$rc_{ij}$ é o efeito residual. A diferença entre esses dois modelos é a inclusão ou exclusão do efeito de interação.$e_{ij}$

$x_{ij}$$\bar{x}_i$

Aqui estão as definições se você assumir um efeito de coluna aleatória:

$$ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$$ $$ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$$ $$ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$$ $$ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$$

Você também pode estimar esses valores usando quadrados médios da ANOVA:

$$ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$$ $$ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$$ $$ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$$ $$ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$$

Você pode calcular esses coeficientes em R usando o pacote irr :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

Referências

McGraw, KO e Wong, SP (1996). Formar inferências sobre alguns coeficientes de correlação intraclasse. Métodos psicológicos, 1 (1), 30–46.

Shrout, PE, & Fleiss, JL (1979). Correlações intraclasse: Utilizadas na avaliação da confiabilidade do avaliador. Boletim Psicológico, 86 (2), 420-428.