Artigo sobre uso indevido do método estatístico no NYTimes

Refiro-me a este artigo: http://www.nytimes.com/2011/01/11/science/11esp.html

Considere o seguinte experimento. Suponha que houvesse motivos para acreditar que uma moeda fosse levemente pesada em relação às cabeças. Em um teste, a moeda aparece 527 vezes em 1.000.

Esta é uma evidência significativa de que a moeda está pesada?

A análise clássica diz que sim. Com uma moeda justa, as chances de obter 527 ou mais caras em 1.000 flips são menores que 1 em 20, ou 5%, o ponto de corte convencional. Em outras palavras: o experimento encontra evidências de uma moeda ponderada "com 95% de confiança".

No entanto, muitos estatísticos não o compram. Uma em cada 20 é a probabilidade de obter qualquer número de cabeças acima de 526 em 1.000 arremessos. Ou seja, é a soma da probabilidade de virar 527, a probabilidade de virar 528, 529 e assim por diante.

Mas o experimento não encontrou todos os números nesse intervalo; encontrou apenas um - 527. Portanto, é mais preciso, segundo esses especialistas, calcular a probabilidade de obter esse número - 527 - se a moeda for pesada, e compará-lo com a probabilidade de obter o mesmo número se a moeda for justo.

Os estatísticos podem mostrar que essa proporção não pode ser maior que cerca de 4 para 1, de acordo com Paul Speckman, um estatístico, que, com Jeff Rouder, um psicólogo, forneceu o exemplo.

Primeira pergunta: isso é novo para mim. Alguém tem uma referência onde eu possa encontrar o cálculo exato e / ou VOCÊ pode me ajudar, fornecendo o cálculo exato você mesmo e / ou você pode me indicar algum material em que eu possa encontrar exemplos semelhantes?

Bayes inventou uma maneira de atualizar a probabilidade de uma hipótese à medida que novas evidências surgissem.

Portanto, ao avaliar a força de uma determinada descoberta, a análise bayesiana incorpora probabilidades conhecidas, se disponíveis, de fora do estudo.

Pode ser chamado de efeito "Sim, certo". Se um estudo constatar que os kumquats reduzem o risco de doenças cardíacas em 90%, que um tratamento cura a dependência de álcool em uma semana, que pais sensíveis têm duas vezes mais chances de dar à luz uma menina do que um menino, a resposta bayesiana corresponde à de o cético nativo: Sim, certo. Os resultados do estudo são comparados com o que é observável no mundo.

Em pelo menos uma área da medicina - testes de rastreamento diagnóstico - os pesquisadores já usam probabilidades conhecidas para avaliar novas descobertas. Por exemplo, um novo teste de detecção de mentiras pode ser 90% exato, sinalizando corretamente 9 entre 10 mentirosos. Mas se é dado a uma população de 100 pessoas que já se sabe incluir 10 mentirosos, o teste é muito menos impressionante.

Ele identifica corretamente 9 dos 10 mentirosos e perde um; mas identifica incorretamente 9 dos outros 90 como mentirosos. A divisão dos chamados positivos verdadeiros (9) pelo número total de pessoas sinalizadas pelo teste (18) fornece uma taxa de precisão de 50%. Os "falsos positivos" e "falsos negativos" dependem das taxas conhecidas na população.

Segunda pergunta: Como você julga exatamente se uma nova descoberta é "real" ou não com esse método? E: isso não é tão arbitrário quanto a barreira de 5% por causa do uso de alguma probabilidade prévia predefinida?

hypothesis-testing bayesian statistics-in-media

— vonjd
fonte

Para as moedas justas e injustas, é uma leitura útil: stat.columbia.edu/~gelman/research/published/diceRev2.pdf

— mpiktas

Eu responderei a primeira pergunta em detalhes.

Com uma moeda justa, as chances de obter 527 ou mais caras em 1.000 flips são menores que 1 em 20, ou 5%, o ponto de corte convencional.

$n=1000$ $p=1/2$

P (B (1000, 1 / 2) >= 527)

$P(B(1000,1/2)>=527)$

Isso pode ser calculado com qualquer pacote de software estatístico. R nos dá

> pbinom(526,1000,1/2,lower.tail=FALSE)
   0.04684365

Portanto, a probabilidade de obtermos mais de 526 cabeças com moedas justas é de aproximadamente 0,047, o que é quase um corte de 5% mencionado no artigo.

A seguinte declaração

Em outras palavras: o experimento encontra evidências de uma moeda ponderada "com 95% de confiança".

é discutível. Eu relutaria em dizer isso, já que 95% da confiança pode ser interpretada de várias maneiras.

Em seguida, voltamos para

Mas o experimento não encontrou todos os números nesse intervalo; encontrou apenas um - 527. Portanto, é mais preciso, segundo esses especialistas, calcular a probabilidade de obter esse número - 527 - se a moeda for pesada, e compará-lo com a probabilidade de obter o mesmo número se a moeda for justo.

$B(1000,1/2)=527$ $B(1000,p)=527$

\frac{P (B (1000, p) = 527)}{P (B (1000, 1 / 2) = 527)} = \frac{p^{527} (1 - p)^{473}}{(1 / 2)^{1000}} .

$\frac{P(B(1000,p)=527)}{P(B(1000,1/2)=527)}=\frac{p^{527}(1-p)^{473}}{(1/2)^{1000}}.$

$p$

Os estatísticos podem mostrar que essa proporção não pode ser maior que cerca de 4 para 1, de acordo com Paul Speckman, um estatístico, que, com Jeff Rouder, um psicólogo, forneceu o exemplo.

$p$

p = \frac{527}{1000} .

$p=\frac{527}{1000}.$

Podemos verificar se é realmente o máximo usando o segundo teste de derivada, por exemplo. Substituindo-o pela fórmula que obtemos

\frac{(527 / 1000)^{527} (473 / 1000)^{473}}{(1 / 2)^{1000}} \approx 4.3

$\frac{(527/1000)^{527}(473/1000)^{473}}{(1/2)^{1000}}\approx 4.3$

Portanto, a proporção é de 4,3 para 1, o que concorda com o artigo.

— mpiktas
fonte

"Agora maximize essa quantidade em relação a p": acho que você quer dizer minimizar.

— Simon Byrne

@mpiktas (+1) Resposta agradável (atualizada).

— chl

\frac{1}{2}

$\frac{1}{2}$

\frac{1}{2}

$\frac{1}{2}$

p \in (\frac{1}{2} \pm ϵ)

$p \in \left(\frac{1}{2} \pm \epsilon \right)$

ϵ

$\epsilon$

@ Simon, por que a correção é minimizada? O valor de P encontrado não maximiza a proporção?

@statnovice: a versão original da resposta teve o numerador e o denominador trocados.

— Simon Byrne