São necessárias progressivamente menos respostas corretas EXTRA para subir uma curva de classificação nos exames padronizados?

A curva de classificação do ano anterior para um exame que estarei fazendo é:

Supondo que o exame tenha 100 (ou qualquer número de) perguntas cada uma com o mesmo peso, serão necessárias menos respostas corretas extras para subir percentis à medida que você se afasta da média?

Por exemplo, precisarei de menos respostas extra corretas para passar do percentil 60 ao 70, do que do 45 ao 55? E se sim, por quê?

Minha razão para acreditar que esse é o caso é encontrada em outra outra curva que tenho de um exame marcado de forma semelhante:

Este gráfico não mostra percentis, mas, olhando para ele, parece que são necessárias menos marcas extras para subir (ou descer) percentis à medida que você se afasta da média. Nota: 1 asterisco representa 4 alunos. Os números no LHS indicam quantas perguntas brutas estão corretas. *

No entanto, não consigo pensar em uma razão formal para isso (meu conhecimento estatístico é limitado).

Ou é o caso de dizer que uma marca extra no exame me elevaria a curva percentual da mesma quantidade, independentemente de onde na curva eu estou originalmente sentado?

FYI: Este exame não nos dá um AB ou C, dependendo de qual% de 100 ganhamos. Ele simplesmente classifica os alunos, de modo que o percentil 100 (ou 99,99: isso sempre me confundiu) será o melhor aluno, mesmo que eles tenham acertado 50% das respostas.

Se você está se perguntando por que desejo saber isso. Meu exame tem várias seções e obtemos uma classificação percentual para cada seção. A pontuação total é então a média de cada seção. Portanto, dependendo da resposta à minha pergunta, ele determinará se eu estudo uniformemente para todas as seções do exame (e mencione, por exemplo, 55., 55., 55.) ou incline meus estudos em favor das minhas disciplinas mais fortes para empurrar essa marca " rapidamente "(e mire, digamos, 45, 45, 80) na curva de percentil.

normal-distribution quantiles curves

— K-Feldspar
fonte

Alguém também poderia me informar se essa seria uma pergunta melhor para a troca de pilhas de matemática? Encontrei a tag de distribuição normal tanto nesse site quanto neste site.

— K-Feldspar

Para intuição quanto ao formato da curva de percentil, você pode modelar se tem uma pergunta correta como um teste independente de Bernoulli . Se a probabilidade de responder a cada pergunta correta for a mesma, a pontuação geral de alguém seguirá a distribuição binomial (que pode ser aproximada pela distribuição normal).

— Matthew Gunn

Obrigado pela resposta. Eu li esses links, mas a resposta ainda não é óbvia para mim (não consegui descobrir como fazer o Julgamento de Bernoulli). No entanto, eu encontrei esta conversão 7sage.com/lsat-score-percentile-performance que mostra marcas brutas vs percentuais para outro exame. A partir disso, parece que o oposto do que eu pensava era verdade. Isso mostra que, ao passar de 90 para 100 perguntas corretas, você aumenta 2% (como em 2 percentis), mas ao passar de 60 para 70 perguntas corretas, sobe 22% (como em 22 percentis).

— K-Feldspar

Com base nisso, concluo que é incrivelmente difícil subir os percentis e exigiria respostas cada vez mais corretas para subir percentis à medida que você se afasta da média (mas isso parece contraditório com o segundo gráfico que publiquei, se o interpretei corretamente )

— K-Feldspar

Eu apaguei meu último comentário porque estava sendo um completo idiota (estava totalmente errado). Se você observar a curva de percentil, a inclinação é mais alta no meio. Passar de 37 para 39 à direita ou de 73 para 75 à direita tem menos efeito no seu percentil do que de 57 para 59 à direita. Fazer uma pergunta extra correta tem o maior valor nas seções em que você é médio.

— Matthew Gunn

Alguma compreensão do porquê pode ser obtida a partir de um modelo simples, mas realista.

A curva mostrada na pergunta é consistente com um teste de 46 perguntas, no qual cada pergunta contribui com para a pontuação total quando respondida corretamente e, de outra forma, não contribui com nada. É "consistente" no sentido de que a distribuição das pontuações é extremamente próxima do que seria obtido se cada aluno estivesse adivinhando cada pergunta de forma independente, com chance de estar correta e chance de estar incorreto. $100/46 \approx 2$ $54.5\%$ $100-54.5 = 45.5\%$

Considere algumas circunstâncias perto do final da administração do teste. Você respondeu a todas as perguntas; você não conhece sua pontuação; mas você está pensando em mudar algumas respostas.

Suponha que sua pontuação (sem o seu conhecimento) esteja no meio, igual a . Isso corresponde a uma pontuação bruta de , indicando que você acertou perguntas e errado. Se você escolher uma pergunta aleatoriamente e alterá-la, haveria uma ela esteja correta - e você tornaria sua resposta errada - e apenas chance incorreto e você o transformaria em um correto. Portanto, é um pouco mais difícil aumentar sua pontuação do que diminuí-la. $54.5$ $54.5\% \times 46 = 25$ $25$ $46-25=21$ $25/46 = 54.5\%$ $45.5\%$
Suponha que sua pontuação seja alta, igual a : respostas corretas e incorretas. Agora, sua chance de aparecer aleatoriamente em uma das perguntas incorretas e alterá-la - melhorando assim sua pontuação - é de apenas . É duas vezes mais difícil aumentar essa pontuação alta do que diminuí-la. $65$ $30$ $16$ $1/3$
Por outro lado, usando uma análise semelhante, é mais fácil melhorar uma pontuação baixa alterando aleatoriamente uma das respostas.

De maneira mais geral - e você pode achar que esse é um modelo mais atraente do que aquele que parece baseado apenas na sorte - considere qualquer teste em que sua pontuação ser do total com base no seu conhecimento subjacente. Para melhorar a pontuação esperada do teste de para - ou seja, um aumento de pontos - você teria que manter seu desempenho nas das respostas acertadas enquanto aprendia o suficiente para adicionar pontos dos pontos perdidos nas respostas erradas. Essa melhoria relativa do seu conhecimento pode ser expressa de duas maneiras: $100p\%$ $100p$ $100(p+x)\%$ $100x$ $100p\%$ $100x$ $100(1-p)$

Você reduziu a proporção de respostas erradas para , uma mudança de ; e $1-p$ $1-p-x$ $-x/(1-p)$
Você aumentou a proporção de respostas corretas para , uma mudança de . $p$ $p+x$ $+x/p$

A proporção entre (até o momento da assinatura),

\frac{x p}{x (1 - p)} = \frac{p}{1 - p}

$\frac{xp}{x(1-p)} = \frac{p}{1-p}$

é a probabilidade de . De uma maneira equilibrada - considerando a necessidade de obter menos respostas erradas e mais acertadas - mede o quão difícil é fazer um pequeno aumento de começando com uma pontuação de . À medida que cresce em direção a pontos, o tamanho decrescente do denominador mostra como fica progressivamente muito mais difícil melhorar uma pontuação já alta. Aproximadamente, aumentos de a a são igualmente difíceis. (Essas chances são de aproximadamente , e $p$ $100x$ $100p$ $100p$ $100$ $1-p$ $90\%$ $95\%$ $97\%$ $9$ $19$ $32$ , respectivamente.)

Observe também que é muito mais provável que sua pontuação caia devido a pequenos erros nas perguntas do que aumente quando sua pontuação estiver acima de 50%, sendo o inverso o caso de pontuações mais baixas: adivinhação e erros aleatórios beneficiam o aluno pobre e machucar o bom aluno.

No que diz respeito a uma estratégia de estudo, essa análise sugere que você se beneficie ao estudar as seções mais fracas - supondo que cada unidade de esforço de estudo resulte no mesmo aumento relativo de desempenho em cada seção.

— whuber
fonte

Obrigado @whuber, isso é muito interessante. Posso perguntar por que você escolheu 100 / 46≈2 em vez de 100/50 = 2, ou seja, um teste de 46 perguntas em vez de 50? Qual é o significado de 46?

— precisa