Por que 600 em 1000 é mais convincente do que 6 em 10?

Veja este trecho de "O manual de habilidades de estudo", Palgrave, 2012, de Stella Cottrell, página 155:

Porcentagens Observe quando as porcentagens são fornecidas.
Suponha, em vez disso, a declaração acima:

60% das pessoas preferiam laranjas; 40% disseram preferir maçãs.

Isso parece convincente: quantidades numéricas são fornecidas. Mas a diferença entre 60% e 40% é significativa ? Aqui precisaríamos saber quantas pessoas foram convidadas. Se perguntassem a mil pessoas quem 600 preferiam laranjas, o número seria persuasivo. No entanto, se apenas 10 pessoas foram solicitadas, 60% significa simplesmente 6 pessoas preferiram laranjas. "60%" parece convincente de uma forma que "6 em 10" não. Como leitor crítico, você precisa estar atento às porcentagens usadas para fazer com que dados insuficientes pareçam impressionantes.

Como é chamada essa característica nas estatísticas? Eu gostaria de ler mais sobre isso.

Eu gostaria de listar outro exemplo intuitivo.

Suponha que eu lhe diga que posso prever o resultado de qualquer troca de moeda. Você não acredita e quer testar minha capacidade.

Você testou 5 vezes e eu acertei todas elas. Você acredita que eu tenho uma habilidade especial? Talvez não. Porque eu posso acertar todos eles por acaso. (Especificamente, suponha que a moeda seja uma moeda justa e cada experimento seja independente, então eu posso obter todos os direitos com sem superpotência. Veja o link de Shufflepants para uma piada sobre isso).$0.5^5\approx0.03$

Por outro lado, se você me testou várias vezes, é muito improvável que eu possa obtê-lo por acaso. Por exemplo, se você testou vezes, a probabilidade de eu acertar todas elas é de .0,5 100 ≈ $100$$0.5^{100}\approx 0$

O conceito estatístico é chamado poder estatístico, da Wikipeida

O poder de um teste de hipótese binária é a probabilidade de que o teste rejeite corretamente a hipótese nula (H0) quando a hipótese alternativa (H1) for verdadeira.

De volta ao exemplo do super poder no coin flip, basicamente você deseja executar um teste de hipótese.

• Hipótese nula (H0): Eu não tenho o super poder
• Hipótese alternativa (H1): Eu tenho o super poder

Agora, como você pode ver no exemplo numérico (teste-me 5 vezes versus teste-me 100 vezes), o poder estatístico foi afetado pelo tamanho da amostra.

Mais para ler aqui . (mais técnico e baseado no teste t).

Uma ferramenta interativa para entender o poder estatístico pode ser encontrada aqui . Observe que o poder estatístico muda com o tamanho da amostra!

$\mu = \frac{\text{# of sucesses}}{n}$

$\sqrt{\frac{\mu(1-\mu)}{n}}$$\approx .155$$\approx .0155$

Este conceito é uma consequência da lei de grandes números . Na Wikipedia ,

De acordo com a lei, a média dos resultados obtidos em um grande número de tentativas deve estar próxima do valor esperado e tenderá a se aproximar à medida que mais tentativas forem realizadas.

Os resultados de uma amostra pequena podem estar mais distantes do valor esperado do que o de uma amostra maior. E assim, como afirmado na pergunta, deve-se ter cuidado com os resultados calculados a partir de pequenas amostras. A idéia também é explicada muito bem neste vídeo do YouTube .

Estamos na situação de estimar uma quantidade populacional por uma quantidade amostral. Nesse caso, estamos usando proporções amostrais para estimar proporções populacionais, mas o princípio é consideravelmente mais geral.

$1$$0$$1$$0$$1$

À medida que coletamos amostras cada vez maiores (usando amostragem aleatória), a média da amostra tenderá a convergir para a média da população. (Esta é a lei de grandes números.)

No entanto, o que realmente queremos ter uma idéia é de quão longe podemos estar (como pode ser representado pela largura de um intervalo de confiança para a proporção ou pela margem de erro, que normalmente é metade dessa largura) .

$\frac{_1}{^{20}}$

$\frac{_1}{^\sqrt{n}}$

Como resultado, estamos mais confiantes sobre a precisão de nossa estimativa quando a amostra é grande - se repetirmos nosso experimento novamente, outros meios estariam próximos do atual - eles se agrupam cada vez mais firmemente e porque (nesse caso) nossa estimativa é imparcial, eles estão agrupados em torno dos valores que estamos tentando estimar. Uma única média da amostra se torna cada vez mais informativa sobre onde pode estar a média da população.

Uma regra prática para "contar" estatísticas, como contar o número de pessoas que gostam de laranjas ou contar o número de "cliques" em um contador Geiger devido a decaimento radioativo, é que a margem de erro da contagem é aproximadamente o quadrado -root do valor esperado da contagem. Estatísticas de contagem são conhecidas são estatísticas de Poisson.

A raiz quadrada de 6 é 2,4-ish, então a margem de erro é de cerca de 40% (2,4 / 6). A raiz quadrada de 600 é 24-ish; portanto, a margem de erro é de cerca de 4% (24/600). É por isso que contar 600 é mais significativo que contar 6. O erro relativo é um décimo.

Estou sendo um pouco desleixado com a definição de margem de erro. É realmente o valor 1-sigma, e não é um corte difícil, mas é o intervalo em que você espera que a maioria (68%) das medições esteja. Portanto, se você espera 6 comedores de laranja, seria de esperar que uma série de pesquisas lhe fornecesse números na faixa de 4 a 8, como 6,6,5,6,7,2,4,6,3,5,6, 6,7,6,10,8,6,5,6,6,9,3,7,8.

Não tenho o nome que você está procurando, mas o problema não é estatístico. Psicologicamente, a maneira como os seres humanos processam números em nossos cérebros confere maior peso (autoridade) a números maiores do que a números menores porque a magnitude (tamanho físico) é visualmente tão importante quanto o valor representativo. Assim, 600/1000 parece mais credível que 6/10. É por isso que os compradores preferem ver "10% de desconto!" para valores inferiores a 100 e "Economize US $ 10!" para valores acima de 100 (chamada "Regra dos 100"). É sobre como nossos cérebros reagem à percepção.

Um olhar surpreendente para esse e outros tipos semelhantes de fenômeno é discutido por Nick Kolenda em seu tratado on-line, " Um Enorme Guia para Psicologia de Preços ".

Embora a margem de erro real seja importante, o motivo pelo qual parece mais convincente é por causa de uma experiência mais heurística (regra geral) com as pessoas. A margem de erro real confirma que essa heurística tem mérito.

Se a amostra for 6 a favor e 4 contra, pode ser 50/50 se uma única pessoa alterar seu voto ou uma única pessoa tiver sido registrada com erro. Há apenas mais duas pessoas no lado 6. Todo mundo conhece dois flocos, todo mundo sabe que a amostra pode ser escolhida como cereja: você só pediu garçonetes e mais ninguém. Ou você só entrevistou 10 professores universitários nos corredores de uma universidade. Ou você perguntou a 10 pessoas ricas fora da Quinta Avenida Saks.

Até a margem matemática do erro pressupõe verdadeira aleatoriedade e não leva em conta o viés de seleção, o viés de auto-seleção ou qualquer outra coisa, as pessoas podem entender isso intuitivamente.

Por outro lado, o resultado de 600 x 400 tem mais 200 pessoas de um lado que o outro, e 100 pessoas teriam que mudar de idéia. Esses números são muito difíceis de encontrar (mas não impossíveis) por algum acidente de onde você estava pesquisando, como você conseguiu que as pessoas concordassem, como as pessoas entenderam ou interpretaram a pergunta etc.

É mais convincente não por causa de uma prova matemática de que deveria ser, mas porque sabemos por experiência própria que multidões de 1000 têm muito mais probabilidade de serem diversas em suas opiniões (sobre qualquer coisa) do que um grupo de 10. (a menos que você o tenha secretamente) sua votação em uma convenção de partidos políticos ou um comício da KKK ou outra coisa que possa atrair uma multidão unilateral).

A matemática apenas quantifica com precisão o que já sabemos por intuição; que é mais fácil encontrar aleatoriamente um ou dois votos perdidos em 10, do que encontrar aleatoriamente 100 ou 200 votos perdidos em 1000.

Algo que não foi mencionado é examinar o problema do ponto de vista bayesiano.

$p$$p$

$\beta=\alpha$$\beta=\alpha=1$$p$$\mathrm{U}(0,1)$

$n$$n_o$$n_a=n-n_o$

$p$

$p$$n_o/(n_o+n_a)$$n$

$n_o=6$$n_a=4$

$n_o=600$$n_a=400$

$p=0.4$$p=0.8$

Observe que, embora esses gráficos sejam semelhantes aos david25272, eles representam algo muito diferente .

$p$$n_o$

$n_o$$p$

A resposta curta:

Basicamente, é mais convincente ter 600 em 1000 do que seis em 10 porque, dadas as mesmas preferências, é muito mais provável que 6 em 10 ocorram por acaso.

Vamos supor - que a proporção que preferiu laranjas e maçãs seja realmente igual (portanto, 50% cada). Chame isso de hipótese nula. Dadas essas probabilidades iguais, a probabilidade dos dois resultados é:

• Dada uma amostra de 10 pessoas, há uma chance de 38% de obter aleatoriamente uma amostra de 6 ou mais pessoas que preferem laranjas (o que não é tão improvável).
• Com uma amostra de 1000 pessoas, há menos de 1 em um bilhão de chances de ter 600 ou mais em cada 1000 pessoas preferem laranjas.

(Para simplificar, estou assumindo uma população infinita da qual extrair um número ilimitado de amostras).

Uma derivação simples

Uma maneira de obter esse resultado é simplesmente listar as possíveis maneiras pelas quais as pessoas podem se combinar em nossas amostras:

Para dez pessoas, é fácil:

Considere desenhar amostras aleatórias de 10 pessoas de uma população infinita de pessoas com preferências iguais para maçãs ou laranjas. Com preferências iguais, é fácil listar todas as combinações possíveis de 10 pessoas:

Aqui está a lista completa.

r   C (n=10)    p
10  1       0.09766%
9   10      0.97656%
8   45      4.39453%
7   120     11.71875%
6   210     20.50781%
5   252     24.60938%
4   210     20.50781%
3   120     11.71875%
2   45      4.39453%
1   10      0.97656%
0   1       0.09766%
    1024    100%

r é o número de resultados (pessoas que preferem laranjas), C é o número de maneiras possíveis de muitas pessoas preferirem laranjas ep é a probabilidade discreta resultante de muitas pessoas preferirem laranjas em nossa amostra.

(p é apenas C dividido pelo número total de combinações. Observe que existem 1024 maneiras de organizar essas duas preferências no total (ou seja, 2 à potência de 10).

• Por exemplo, existe apenas um caminho (uma amostra) para 10 pessoas (r = 10) para todos preferirem laranjas. O mesmo vale para todas as pessoas que preferem maçãs (r = 0).
• Existem 10 combinações diferentes, resultando em nove delas preferindo laranjas. (Uma pessoa diferente prefere maçãs em cada amostra).
• Existem 45 amostras (combinações) em que 2 pessoas preferem maçãs, etc., etc.

(Em geral, falamos sobre n C r combinações de resultados r de uma amostra de n pessoas. Existem calculadoras on-line que você pode usar para verificar esses números.)

Essa lista nos permite fornecer as probabilidades acima usando apenas divisão. Existe uma chance de 21% de obter 6 pessoas na amostra que preferem laranjas (210 de 1024 das combinações). A chance de obter seis ou mais pessoas em nossa amostra é de 38% (a soma de todas as amostras com seis ou mais pessoas, ou 386 de 1024 combinações).

Graficamente, as probabilidades são assim:

Com números maiores, o número de combinações potenciais cresce rapidamente.

Para uma amostra de apenas 20 pessoas, existem 1.048.576 amostras possíveis, todas com igual probabilidade. (Nota: eu mostrei apenas todas as segundas combinações abaixo).

r    C (n=20)   p
20   1          0.00010%
18   190        0.01812%
16   4,845      0.46206%
14   38,760     3.69644%
12   125,970    12.01344%
10   184,756    17.61971%
8    125,970    12.01344%
6    38,760     3.69644%
4    4,845      0.46206%
2    190        0.01812%
0    1          0.00010%
     1,048,576  100%

Ainda existe apenas uma amostra em que todas as 20 pessoas preferem laranjas. As combinações que apresentam resultados mistos são muito mais prováveis, simplesmente porque existem muitas outras maneiras pelas quais as pessoas nas amostras podem ser combinadas.

As amostras tendenciosas são muito mais improváveis, apenas porque há menos combinações de pessoas que podem resultar nessas amostras:

Com apenas 20 pessoas em cada amostra, a probabilidade cumulativa de ter 60% ou mais (12 ou mais) pessoas em nossa amostra preferindo laranjas cai para apenas 25%.

A distribuição de probabilidade pode ser vista mais fina e mais alta:

Com 1000 pessoas, os números são enormes

Podemos estender os exemplos acima para amostras maiores (mas os números crescem rápido demais para que seja possível listar todas as combinações); em vez disso, calculei as probabilidades em R:

r   p (n=1000)
1000    9.332636e-302
900     5.958936e-162
800     6.175551e-86
700     5.065988e-38
600     4.633908e-11
500     0.02522502
400     4.633908e-11
300     5.065988e-38
200     6.175551e-86
100     5.958936e-162
0       9.332636e-302

A probabilidade cumulativa de ter 600 ou mais em 1.000 pessoas prefere laranjas é apenas 1.364232e-10.

A distribuição de probabilidade agora está muito mais concentrada em torno do centro:

[

(Por exemplo, para calcular a probabilidade de exatamente 600 dentre 1.000 pessoas que preferem laranjas em R, dbinom(600, 1000, prob=0.5)é igual a 4.633908e-11, e a probabilidade de 600 ou mais pessoas é 1-pbinom(599, 1000, prob=0.5)igual a 1.364232e-10 (menos de 1 em um bilhão).

Isso ocorre porque um número maior garante maior precisão. Por exemplo, se você pegasse 1000 pessoas aleatórias de qualquer lugar do planeta e 599 delas fossem homens contra 10 pessoas aleatórias com 6 homens, o primeiro seria mais preciso. Da mesma forma, se você assumir uma população de 7 bilhões e calcular o número de homens, obteria um número mais preciso, o que obviamente seria mais convincente do que com apenas 1000 pessoas.