2
Confiabilidade entre avaliadores com muitos avaliadores não sobrepostos
Eu tenho um conjunto de dados de mais de 11.000 itens distintos, cada um deles classificado em uma escala nominal por pelo menos três avaliadores diferentes no Mechanical Turk da Amazon . 88 avaliadores diferentes forneceram julgamentos para a tarefa e ninguém avaliador concluiu mais de 800 julgamentos. A maioria …