detecção de plágio em teste de múltipla escolha

Suponha que um investigador suspeite que um aluno copie respostas do trabalho de outro aluno durante um exame de múltipla escolha. Mais tarde, ela verifica as respostas e encontra algumas semelhanças - mas, por outro lado, é provável que haja semelhanças, dada a natureza do exame. Como ela deveria determinar se suas suspeitas foram fundadas?

Em outras palavras, ela certamente terá que comparar os exames com os de outros alunos (que, vamos supor, não estavam trapaceando). Mas se o tamanho da turma for muito grande, é razoável fazer uma amostragem aleatória para comparação? Quantos ela levaria? Se houvesse muitas perguntas no exame, também seria razoável coletar uma amostra das perguntas para comparação? Faz diferença significativa se cada pergunta teve 2 respostas possíveis (verdadeiro / falso) ou, por exemplo, 4?

Não tenho números específicos porque estou pensando em como isso funcionaria em geral. Tenho formação em matemática, mas pouco treinamento em estatística. Como você descreveria essa análise em termos estatísticos?

Obrigado.

correlation terminology

— Théophile
fonte

Eu tenho um sentimento que você tem de fazer a suposição aqui que nem trapaceiro nem cheatee tinha uma maioria respostas corretas. Por exemplo, se os dois obtiveram respostas corretas, você não pode provar nada. Mas digamos que os dois tenham as mesmas respostas erradas, provavelmente há uma probabilidade muito alta de trapaça. Eu acho que você terá que se concentrar nas respostas erradas para fazer essa medição.

— Spacey

Eu acho que você pode querer ser seletivo e escolher perguntas com maior probabilidade de serem copiadas. Provavelmente seriam os que pareciam os mais difíceis. Mas há também a possibilidade de a pessoa trapacear apenas escolher perguntas que abordam tópicos que não foram estudados e que seriam difíceis de discernir. Mas ter as mesmas respostas em perguntas fáceis realmente não diria nada, pois ambas as partes saberiam a resposta correta.

— Michael R. Chernick

Não é de surpreender que muitas pessoas tenham olhado para a detecção de trapaças no passado, incluindo Steven Levitt, autor de Freakonomics. Se você quiser saber se alguém trapaceou apenas com as respostas, não faça testes de múltipla escolha e faça os exames pessoalmente. Você poderá rejeitar a hipótese de que o trabalho dos alunos não tenha relação com o assunto, mas você terá um tempo terrível para provar que eles simplesmente não estudaram juntos. Você tem uma tabela de assentos e verificou a identificação dos alunos, se eles estavam sentados de acordo com a tabela de assentos? Você pode testar novamente os alunos?

— Douglas Zare

A amostragem das perguntas parece uma péssima idéia, pois você pode analisar facilmente todas as perguntas e perderá ótimos indicadores de cópia, como uma série de respostas que são deslocadas em 1 pela resposta correta. Por exemplo, as respostas corretas são 30) A 31) B 32) C 33) D 34) E e um aluno tem 30) A 31) B 32) C 33) D 34) B, e outro tem 30) B 31) C 32) D 33) B. Se essas respostas são muito incorretas impopulares, elas se encaixam no modelo que o segundo aluno estava copiando o primeiro e cometeram um erro de omissão. É difícil, embora possível, explicar essas respostas sem copiar.

— Douglas Zare

Com o software atual, é relativamente fácil e eficiente criar um conjunto de exames com as mesmas perguntas, mas a ordem das perguntas e a ordem das respostas são permitidas. Geralmente, você só precisa ter no máximo 4 versões.

— R. Schumacher

Aqui está uma variedade surpreendentemente vasta de índices de cópias de respostas, com poucas discussões sobre seus méritos: http://www.bjournal.co.uk/paper/BJASS_01_01_06.pdf .

Existe um campo da psicologia (educacional) chamado teoria da resposta ao item (TRI) que fornece a base estatística para perguntas como essas. Se você é americano e fez um SAT, ACT ou GRE, lidou com um teste desenvolvido com o IRT em mente. O postulado básico da TRI é que cada aluno é caracterizado por sua capacidade ; cada questão é caracterizada por sua dificuldade ; e a probabilidade de responder a uma pergunta corretamente é $i$ $a_i$ $b_j$ onde é o cdf do padrão normal é um parâmetro adicional de sensibilidade / discriminação (às vezes, é tornado específico da pergunta, , se houver informações suficientes, ou seja, participantes de teste suficientes para identificar as diferenças). Uma suposição escondida aqui que, dada a estudantes capacidade

π ({uma}_{Eu}, b_{j}; c) = P r o b [aluna Eu responde a pergunta j corretamente] = Φ (c ({uma}_{Eu} - b_{j}))

$\pi(a_i,b_j;c) = {\rm Prob}[\mbox{student $i$ answers question $j$ correctly}] = \Phi( c(a_i-b_j) )$

Φ (z)

$\Phi(z)$

c

$c$

c_{j}

$c_j$

i

$i$ , as respostas para perguntas diferentes são independentes. Essa suposição é violada se você tiver uma série de perguntas sobre o mesmo parágrafo do texto, mas vamos abstraí-lo por um minuto.

Para perguntas "Sim / Não", esse pode ser o fim da história. Para mais de duas perguntas de categoria, podemos supor que todas as escolhas erradas são igualmente prováveis; para uma pergunta com escolhas, a probabilidade de cada escolha errada é . $j$ $k_j$ $\pi'(a_i,b_j;c) = [1-\pi(a_i,b_j;c)]/(k_j-1)$

Para os alunos de habilidades e , a probabilidade de que eles combinam em suas respostas para uma pergunta com dificuldade é $a_i$ $a_k$ $b_j$ Se desejar, você pode dividir isso em probabilidade de corresponder à resposta correta,

ψ ({uma}_{Eu}, {uma}_{k}; b_{j}, c) = π ({uma}_{Eu}, b_{j}; c) π ({uma}_{k}, b_{j}; c) + (k - 1) π^{'} ({uma}_{Eu}, b_{j}; c) π^{'} ({uma}_{k}, b_{j}; c)

$\psi(a_i,a_k;b_j,c) = \pi(a_i,b_j;c)\pi(a_k,b_j;c) + (k-1)\pi'(a_i,b_j;c)\pi'(a_k,b_j;c)$

ψ_{c} (a_{i}, a_{k}; b_{j}, c) = π (a_{i}, b_{j}; c) π (a_{k}, b_{j}; c)

$\psi_c(a_i,a_k;b_j,c) = \pi(a_i,b_j;c)\pi(a_k,b_j;c)$ , e a probabilidade de corresponder a uma resposta incorreta,

, embora da estrutura conceitual da TRI, essa distinção dificilmente seja material.

ψ_{i} (a_{i}, a_{k}; b_{j}, c) = (k - 1) π^{'} (a_{i}, b_{j}; c) π^{'} (a_{k}, b_{j}; c)

$\psi_i(a_i,a_k;b_j,c) = (k-1)\pi'(a_i,b_j;c)\pi'(a_k,b_j;c)$

Eu (Eu, k) = \sum_{j} 1 {{partida}_{j}} em ψ ({uma}_{Eu}, {uma}_{k}; b_{j}, c) + 1 {{incomparável}_{j}} em [1 - ψ ({uma}_{Eu}, {uma}_{k}; b_{j}, c)]

$I(i,k) = \sum_j 1\{ \mbox{match}_j \} \ln \psi(a_i,a_k;b_j,c) + 1\{ \mbox{non-match}_j \} \ln [1- \psi(a_i,a_k;b_j,c) ]$

E (Eu, k) = E [Eu (Eu, k)] = \sum_{j} ψ ({uma}_{Eu}, {uma}_{k}; b_{j}, c) em ψ ({uma}_{Eu}, {uma}_{k}; b_{j}, c) + (1 - ψ ({uma}_{Eu}, {uma}_{k}; b_{j}, c)) em [1 - ψ ({uma}_{Eu}, {uma}_{k}; b_{j}, c)]

$E(i,k) = {\rm E}[ I(i,k) ] = \sum_j \psi(a_i,a_k;b_j,c) \ln \psi(a_i,a_k;b_j,c) + (1- \psi(a_i,a_k;b_j,c) ) \ln [1- \psi(a_i,a_k;b_j,c) ]$

$\{c,b_j, j=1, 2, \ldots\}$ $\{a_i\}$ lme4

    irt <- glmer( answer ~ 1 + (1|student) + (1|question), family = binomial)

ou algo muito próximo disso.

— StasK
fonte