Isso surgiu inicialmente em conexão com algum trabalho que estamos fazendo para um modelo para classificar texto natural, mas eu o simplifiquei ... Talvez demais.

Você tem um carro azul (por alguma medida científica objetiva - é azul).

Você mostra para 1000 pessoas.

900 dizem que é azul. 100 não.

Você fornece essas informações a alguém que não pode ver o carro. Tudo o que sabem é que 900 pessoas disseram que era azul e 100 não. Você não sabe mais nada sobre essas pessoas (as 1000).

Com base nisso, você pergunta à pessoa: "Qual é a probabilidade de o carro ser azul?"

Isso causou uma enorme divergência de opinião entre aqueles que pedi! Qual é a resposta certa, se houver uma?

TL; DR: A menos que você assuma que as pessoas são excessivamente ruins em julgar a cor do carro ou que os carros azuis são excessivamente raros, o grande número de pessoas no seu exemplo significa que a probabilidade de o carro ser azul é basicamente 100%.

Matthew Drury já deu a resposta certa, mas eu gostaria de acrescentar a ela com alguns exemplos numéricos, porque você escolheu seus números para obter respostas bastante semelhantes para uma ampla variedade de configurações de parâmetros diferentes. Por exemplo, vamos supor, como você disse em um de seus comentários, que a probabilidade de as pessoas julgarem a cor de um carro corretamente é 0,9. Ou seja: e também p ( diga que não é azul | carro não é azul ) =

$$p(\text{say it's blue}|\text{car is blue})=0.9=1-p(\text{say it isn't blue}|\text{car is blue})$$ $$p(\text{say it isn't blue}|\text{car isn't blue})=0.9=1-p(\text{say it is blue}|\text{car isn't blue})$$

Tendo definido isso, o que resta a decidir é: qual é a probabilidade anterior de o carro ser azul? Vamos escolher uma probabilidade muito baixa apenas para ver o que acontece e dizer que , ou seja, apenas 0,1% de todos os carros são azuis. Em seguida, a probabilidade posterior de que o carro seja azul pode ser calculada como:$p(\text{car is blue})=0.001$

$$\begin{align*} &p(\text{car is blue}|\text{answers})\\ &=\frac{p(\text{answers}|\text{car is blue})\,p(\text{car is blue})}{p(\text{answers}|\text{car is blue})\,p(\text{car is blue})+p(\text{answers}|\text{car isn't blue})\,p(\text{car isn't blue})}\\ &=\frac{0.9^{900}\times 0.1^{100}\times0.001}{0.9^{900}\times 0.1^{100}\times0.001+0.1^{900}\times0.9^{100}\times0.999} \end{align*}$$

Se você olhar para o denominador, é bem claro que o segundo termo nessa soma será desprezível, pois o tamanho relativo dos termos na soma é dominado pela razão de para$0.9^{900}$ , que é da ordem de 10 $0.1^{900}$$10^{58}$ . E, de fato, se você fizer esse cálculo em um computador (tomando cuidado para evitar problemas numéricos de fluxo insuficiente), receberá uma resposta igual a 1 (dentro da precisão da máquina).

A razão pela qual as probabilidades anteriores não importam muito aqui é que você tem muitas evidências de uma possibilidade (o carro é azul) versus outra. Isso pode ser quantificado pela razão de verossimilhança , que podemos calcular como:

$$\frac{p(\text{answers}|\text{car is blue})}{p(\text{answers}|\text{car isn't blue})}=\frac{0.9^{900}\times 0.1^{100}}{0.1^{900}\times 0.9^{100}}\approx 10^{763}$$

Portanto, antes mesmo de considerar as probabilidades anteriores, as evidências sugerem que uma opção já é astronomicamente mais provável que a outra e, para a anterior fazer alguma diferença, os carros azuis teriam que ser irracionalmente, estupidamente raros (tão raros que esperaríamos encontre 0 carros azuis na terra).

E se mudarmos a precisão das pessoas em suas descrições de cores de carros? É claro que poderíamos levar isso ao extremo e dizer que eles acertam apenas 50% das vezes, o que não é melhor do que jogar uma moeda. Nesse caso, a probabilidade posterior de que o carro seja azul é simplesmente igual à probabilidade anterior, porque as respostas das pessoas não nos disseram nada. Mas certamente as pessoas se saem pelo menos um pouco melhor que isso, e mesmo se dissermos que as pessoas são precisas apenas 51% das vezes, a taxa de probabilidade ainda funciona de tal forma que é aproximadamente vezes mais provável que o carro seja azul .$10^{13}$

Tudo isso é resultado dos números bastante grandes que você escolheu no seu exemplo. Se houvesse 9/10 pessoas dizendo que o carro era azul, teria sido uma história muito diferente, mesmo que a mesma proporção de pessoas estivesse em um campo versus o outro. Porque a evidência estatística não depende dessa proporção, mas da diferença numérica entre as facções opostas. De fato, na razão de verossimilhança (que quantifica a evidência), as 100 pessoas que dizem que o carro não é azul cancelam exatamente 100 das 900 pessoas que dizem que é azul, então é o mesmo que se você tivesse 800 pessoas concordando era azul. E isso é obviamente uma evidência bastante clara.

(Editar: Como o Silverfish apontou , as suposições que eu fiz aqui na verdade implicavam que sempre que uma pessoa descreve um carro não azul incorretamente, o padrão é dizer que é azul. Isso não é realista, é claro, porque eles realmente podem dizer qualquer cor , e dirá azul apenas algumas vezes, o que não faz diferença para as conclusões: como as pessoas menos propensas a confundir um carro não azul com um azul, maior a evidência de que ele é azul quando o diz. Portanto, se houver alguma coisa, os números dados acima são na verdade apenas um limite inferior à evidência pró-azul.)

A resposta correta depende das informações não especificadas no problema. Você precisará fazer mais algumas suposições para obter uma resposta única e definitiva:

• A probabilidade anterior de o carro ser azul, ou seja, sua crença de que o carro é azul, dado que você ainda não perguntou a ninguém.
• A probabilidade de alguém lhe dizer que o carro é azul quando na verdade é azul, e a probabilidade de que o carro seja azul quando na verdade não é azul.
• A probabilidade de o carro ser azul quando alguém diz que é, e a probabilidade de o carro não ser azul, quando alguém diz que é azul.

Com essas informações, podemos decompor tudo com a fórmula de Bayes para derivar uma probabilidade posterior de que o carro seja azul. Vou me concentrar no caso em que pedimos apenas uma pessoa, mas o mesmo raciocínio pode ser aplicado ao caso em que você pergunta a pessoas.$1000$

$$\begin{align*} P_{post} (\text{car is blue}) &= P(\text{car is blue} \mid \text{say is blue}) P(\text{say is blue}) \\ & \ \ \ \ + P(\text{car is blue} \mid \text{say is not blue}) P(\text{say is not blue}) \end{align*}$$

Precisamos continuar a dividir ainda mais , é aqui que o prior entra:$P(\text{say is blue})$

$$\begin{align*} P(\text{say is blue}) = \ &P(\text{say is blue} \mid \text{car is blue}) P_{prior}(\text{car is blue}) \\ &+ P(\text{say is blue} \mid \text{car is not blue}) P_{prior}(\text{car is not blue}) \end{align*}$$

Então, duas aplicações da regra de Bayes levam você até lá. Você precisará determinar os parâmetros não especificados com base nas informações que você tem sobre a situação específica ou fazendo algumas suposições razoáveis.

Existem outras combinações de quais suposições você pode fazer, com base em:

$$P(\text{say is blue} \mid \text{car is blue}) P(\text{car is blue}) = P(\text{car is blue} \mid \text{say is blue}) P(\text{say is blue})$$

No início, você não sabe nada disso. Portanto, você deve fazer algumas suposições razoáveis ​​sobre três delas e, em seguida, a quarta é determinada a partir daí.

Há uma suposição importante de que suas mil opiniões não compartilham um viés sistemático. O que é uma suposição razoável aqui, mas pode ser importante em outros casos.

Exemplos podem ser:

• todos compartilham daltonismo semelhante (genética em uma população, por exemplo),
• todos viram o carro à noite sob iluminação pública laranja com sódio,
• todos eles compartilham uma cultura comum na qual o azul é tabu ou magicamente associado (que influencia se descrevem ou não um objeto como azul ou se usam um eufemismo cultural ou qualquer outra coisa),
• todos disseram a eles (ou compartilham uma crença comum) que, se responderem / não responderem de uma maneira específica, algo bom / ruim lhes acontecerá ...

Não é provável neste caso, mas é uma suposição implícita significativa em outros casos. Também não precisa ser tão extremo - transponha sua pergunta para outro domínio e isso será um fator real.

Exemplos para cada um dos casos em que sua resposta pode ser afetada por um viés compartilhado:

• pergunte se um copo alto e fino comporta mais do que um copo de gordura curta realmente idêntico, mas seus 1000 participantes são crianças muito pequenas (percepção equivocada compartilhada).
• pergunte a 1000 pessoas se andar sob uma escada é perigoso (crença cultural comum)
• pergunte a 1000 pessoas casadas se elas amam seu parceiro / tiveram um caso, em circunstâncias em que acreditam que seu parceiro saberá sua resposta. O contexto pode ser um programa de TV ou um parceiro presente quando solicitado etc. (crença comum sobre as consequências)

Não seria difícil imaginar algumas perguntas estruturalmente idênticas nas quais a resposta 900: 100 fosse uma medida de crenças e honestidade, ou qualquer outra coisa, e não apontasse a resposta correta. Não é provável neste caso, mas em outros casos - sim.

Uma razão pela qual você obtém respostas diferentes de pessoas diferentes é que a pergunta pode ser interpretada de maneiras diferentes, e não está claro o que você quer dizer com "probabilidade" aqui. Uma maneira de entender a questão é atribuir priores e razão usando a regra de Bayes como na resposta de Matthew.

Antes de pedir probabilidades, você deve decidir o que é modelado como aleatório e o que não é. Não é universalmente aceito que quantidades desconhecidas, mas fixas, devam ser atribuídas antes. Aqui está uma experiência semelhante à sua que destaca o problema da pergunta:

$X_i$$i = 1, \dots, 1000$$p = 0.5$$X_i$$\sum_{i = 1}^{1000}X_i = 900$

$p$$p$

Resposta prática simples:

A probabilidade pode facilmente variar de 0% a 100%, dependendo de suas suposições

Embora eu realmente goste das respostas existentes, na prática, basicamente se resume a esses dois cenários simples:

Cenário 1: Presume-se que as pessoas sejam muito boas em reconhecer o azul quando está azul ... 0%

Nesse caso, há tantas pessoas afirmando que o carro não é azul, que é muito improvável que o carro seja realmente azul. Portanto, a probabilidade se aproxima de 0%.

Cenário 2: Presume-se que as pessoas sejam muito boas em reconhecer não-azul quando não é azul ... 100%

Nesse caso, há tantas pessoas declarando que o carro é azul, que é muito provável que seja de fato azul. Portanto, a probabilidade se aproxima de 100%.

---

É claro que, chegando a esse ponto de vista matemático, você começaria com algo genérico como "vamos supor que as probabilidades relevantes sejam ...", o que é completamente sem sentido, pois essas coisas geralmente não são conhecidas por nenhuma circunstância aleatória. Por isso, advogo olhar para os extremos para entender a idéia de que ambas as porcentagens podem ser facilmente justificadas com premissas simples e realistas, e que, portanto, não há uma única resposta significativa.

Você precisa desenvolver alguma estrutura de estimativa. Algumas perguntas que você pode fazer são

1. Quantas cores existem? Estamos falando de duas cores? Ou todas as cores do arco-íris?

2. Quão distintas são as cores? Estamos falando de azul e laranja? Ou azul, ciano e turquesa?

3. O que significa ser azul? São ciano e / ou azul turquesa? Ou apenas o próprio azul?

4. Quão boas são essas pessoas na estimativa de cores? Eles são todos designers gráficos? Ou eles são daltônicos?

Do ponto de vista puramente estatístico, podemos fazer algumas suposições sobre o último. Primeiro, sabemos que pelo menos 10% das pessoas estão escolhendo uma resposta incorreta. Se houver apenas duas cores (da primeira pergunta), poderíamos dizer que há

Probability says blue and is blue = 90% say is blue * 90% correct = 81%
Probability says blue and is not = 90% * 10% incorrect = 9%
Probability says not but is blue = 10% * 90% incorrect = 9%
Probability says not and is not = 10% * 10% = 1%

Como uma verificação rápida, se somarmos isso, obteremos 100%. Você pode ver uma notação mais matemática disso na resposta @MatthewDrury .

Como obtemos os 90% no terceiro? É quantas pessoas disseram azul, mas estavam erradas se não é. Como existem apenas duas cores, elas são simétricas. Se houvesse mais de duas cores, a chance de a escolha errada ser azul quando dissessem que outra coisa seria menor.

De qualquer forma, esse método de estimativa nos dá 90% de azul. Isso inclui 81% de chance de as pessoas dizerem azul quando é e 9% de chance de as pessoas dizerem que não é quando é. Provavelmente é o mais próximo que podemos chegar de responder à pergunta original e exige que confiemos nos dados para estimar duas coisas diferentes. E supor que a chance do azul ser escolhido é a mesma que a chance do azul estar correto.

Se houver mais de duas cores, a lógica mudará um pouco. As duas primeiras linhas permanecem as mesmas, mas perdemos a simetria nas duas últimas linhas. Nesse caso, precisamos de mais informações. É possível que possamos estimar a chance de dizer corretamente o azul como 81% novamente, mas não temos idéia de quais são as chances de a cor ser azul quando alguém disser que não é.

Também poderíamos melhorar até a estimativa de duas cores. Dado um número estatisticamente significativo de carros de cada cor, poderíamos ter um número estatisticamente significativo de pessoas visualizando e categorizando-os. Depois, poderíamos contar com que frequência as pessoas têm razão quando fazem cada escolha de cor e com que frequência elas têm razão para cada escolha de cor. Então poderíamos estimar com mais precisão as escolhas reais das pessoas.

Você pode perguntar como 90% pode estar errado. Considere o que acontece se houver três cores: azul, azul e safira. Alguém pode considerar razoavelmente os três como azuis. Mas nós queremos mais. Queremos o tom exato. Mas quem se lembra dos nomes dos outros tons? Muitos podem adivinhar o azul porque é o único tom que eles conhecem. E ainda esteja errado quando se tornar azul.

Uma probabilidade exata, matemática, verdadeira / falsa não pode ser calculada com as informações que você fornece.

No entanto, na vida real, essas informações nunca estão disponíveis com certeza. Portanto, usando nossa intuição (e para onde todo o meu dinheiro iria se apostássemos), o carro é definitivamente azul. (alguns acreditam que isso não é mais estatística, mas as visões em preto e branco da ciência não são muito úteis)

O raciocínio é simples. Suponha que o carro não seja azul. Então 90% das pessoas (!) Estavam erradas. Eles só podem estar errados por causa de uma lista de problemas, incluindo:

• daltonismo
• mentira patológica
• estar sob a influência de substâncias como álcool, LCD, etc
• não entendendo a pergunta
• outra forma de transtorno mental
• Uma combinação dos anteriores

Como claramente não é provável que o problema acima afete 90% de uma população aleatória média (por exemplo, o daltonismo afeta cerca de 8% dos homens e 0,6% das mulheres, ou seja, 43 pessoas em 1000), é necessariamente o caso que o carro está azul. (Ou seja, todo o meu dinheiro iria de qualquer maneira).

Eu não comeria fezes com base no fato de que bilhões de moscas não podem estar erradas. Pode haver dezenas de outras razões pelas quais 900 em cada 1000 pessoas foram enganadas ao pensar que o carro é azul. Afinal, essa é a base dos truques mágicos, atraindo as pessoas a pensarem em algo removido da realidade. Se 900 pessoas em cada 1000 virem um mágico esfaqueando seu assistente, elas responderão prontamente que o assistente foi esfaqueado, pelo quão improvável um homicídio aconteceu no palco. Uma luz azul na pintura refletiva de um carro, alguém?

O questionado sabe muito pouco sobre como a pesquisa foi realizada, a fim de responder à pergunta com precisão. Para ele, a enquete pode sofrer de vários problemas:

As pessoas que participaram da pesquisa poderiam ter sido tendenciosas:

1. O carro parecia azul por causa de uma ilusão de ótica .

2. Por algum motivo, a cor do carro era difícil de observar e, por algum motivo, as pessoas haviam mostrado muitos carros azuis antes deste, fazendo a maioria deles acreditar que esse carro provavelmente também era azul.

3. Você os pagou para dizer que o carro é azul.

4. Você tinha alguém hipnotizando todos eles para acreditar que o carro é azul.

5. Eles fizeram um pacto para mentir e sabotar a enquete.

Pode ter havido correlações entre as pessoas que participaram da pesquisa por causa de como foram selecionadas ou porque se afetaram:

1. Você acidentalmente realizou a pesquisa em uma reunião em massa para pessoas com o mesmo tipo de daltonismo.

2. Você realizou a pesquisa nos jardins de infância; as meninas não estavam interessadas no carro e a maioria dos meninos tinha o azul como sua cor favorita, fazendo-os imaginar que o carro era azul.

3. A primeira pessoa a quem foi mostrado o carro estava bêbado e pensou que parecia azul, gritou "É AZUL", influenciando todo mundo a pensar que o carro era azul.

Portanto, embora a probabilidade de o carro ser azul se a pesquisa foi realizada corretamente é extremamente alta (como explicado na resposta de Ruben van Bergen), a confiabilidade da pesquisa pode ter sido comprometida, o que faz com que a chance de o carro não ser azul não seja insignificante. O tamanho do questionário estima que essa chance depende, em última análise, de suas probabilidades de que as circunstâncias tenham se estragado com a enquete e de quão bom você é na realização de pesquisas (e quão travesso ele pensa que você é).

Qual é a definição de "blue"?

Diferentes culturas e idiomas têm diferentes noções de azul. IIRC, algumas culturas incluem verde dentro de sua noção de azul!

Como qualquer palavra em linguagem natural, você pode apenas assumir que existe alguma convenção cultural sobre quando (e quando não) chamar as coisas de "azuis".

No geral, a cor na linguagem é surpreendentemente subjetiva (link dos comentários abaixo, obrigado @Count Ibilis)

A probabilidade pode, dependendo de pré-condições mais refinadas, ter vários valores diferentes, mas 99,995% é o que faz mais sentido para mim.

Sabemos, por definição, que o carro é azul (100%), mas não está bem especificado o que isso realmente significa (isso poderia apostar um pouco filosófico). Assumirei que algo é azul no sentido de poder realmente ser visto como azul.

Também sabemos que 90% dos sujeitos do teste o relataram como azul.

Nós não sabe o que foi pedido ou como a avaliação foi feita, e que as condições de iluminação do carro estava dentro. Ser questionado para nomear a cor, alguns temas pode por exemplo ter dito "azul-esverdeado", devido às condições de iluminação, e o avaliador pode não contei isso como "azul". As mesmas pessoas poderiam ter respondido "sim" se a pergunta tivesse sido "Isso é azul?". Assumirei que você não pretendia enganar maliciosamente os participantes do teste.

Sabemos que a incidência de tritanopia é de cerca de 0,005%, o que significa que se o carro pudesse ser visto como azul , 99,995% dos participantes do teste realmente viram a cor como azul. Isso, no entanto, significa que 9,995% dos participantes do teste não relataram azul quando viram claramente o azul. Eles estavam mentindo sobre o que viram. Isso é parecido com o que sua experiência de vida também diz: as pessoas nem sempre são honestas (mas, a menos que haja um motivo, geralmente são).

Assim, a pessoa que não observa pode assumir com certeza esmagadora que o carro é azul. Isso seria 100%

Exceto ... exceto se a própria pessoa que não observa sofre de tritanopia, caso em que não vê o carro como azul, mesmo que todo mundo (ou melhor, 90% deles) diga isso. Aqui fica filosófico novamente: se todo mundo ouviu uma árvore cair, mas eu não, ela caiu?

Ouso dizer que a resposta mais razoável e prática seria: se a pessoa que não observa for um trianope (chance de 0,005%), verificará se a cor prevista e a cor real vista são as mesmas que resultariam falsas. Assim, a probabilidade é de 99,999% em vez de 100%.

Além disso, como um bônus, uma vez que descobrimos que 9,995% dos participantes do teste são mentirosos e sabe-se que todos os cretenses são mentirosos , podemos concluir que não estamos em Creta!

Você tem um carro azul (por alguma medida científica objetiva - é azul).

...

"Qual é a probabilidade de o carro ser azul?"

É 100% azul.

Tudo o que sabem é que 900 pessoas disseram que era azul e 100 não. Você não sabe mais nada sobre essas pessoas (as 1000).

Usar esses números (sem qualquer contexto) é totalmente sem sentido. Tudo se resume à interpretação pessoal da questão. Não devemos seguir esse caminho e usar o de Wittgenstein: "Wovon man nicht sprechen kann, darüber muss man schweigen".

---

Imagine a seguinte pergunta para comparação:

All they know is that 0 people said it was blue, and 0 did not. 
You know nothing more about these people (the 0).

Este é basicamente o mesmo problema (menos informações), mas é muito mais claro que o que pensamos da cor do carro é principalmente (se não completamente) circunstancial.

---

A longo prazo, quando recebermos várias perguntas associadas, poderemos começar a adivinhar respostas para essas perguntas incompletas. É o mesmo para o algoritmo tit-for-tat que não funciona em um único caso, mas funciona a longo prazo . No mesmo sentido, Wittgenstein voltou de seu trabalho anterior com suas principais investigações . Somos capazes de responder a essas perguntas, mas precisamos de mais informações / ensaios / perguntas. É um processo.

Se assumirmos que o carro é azul, 100 em 1.000 dizendo que não é azul implica um viés extremo de amostra de algum tipo. Talvez você estivesse amostrando apenas pessoas daltônicas. Se assumirmos que o carro não é azul, o viés da amostra é ainda pior. Portanto, tudo o que podemos concluir com os dados fornecidos é que a amostra é muito tendenciosa e, como não sabemos como ela foi tendenciosa, não podemos concluir nada sobre a cor do carro.

Houve algumas respostas. Eu não sou um guru de matemática, mas bem, aqui está o meu.

Só pode haver 4 possibilidades:

case 1) Persons says car is blue and is correct
case 2) Person says car is blue and is incorrect
case 3) Person says car is not blue and is correct
case 4) Person says car is not blue and is incorrect

Com a pergunta, você sabe que a soma dos casos 1 e 4 é de 900 pessoas (90%) e a soma dos casos 2 e 3 é de 100 pessoas (10%). No entanto, aqui está o problema: o que você não sabe é a distribuição dentro desses 2 pares de casos. Talvez a soma dos casos 1 e 4 seja totalmente composta pelo caso 1 (o que significa carro é azul), ou talvez a soma total seja composta pelo caso 4 (o que significa carro não é azul). O mesmo vale para a soma do caso 2 + 3. Então ... O que você precisa é criar uma maneira de prever a distribuição nas somas de casos. Sem outra indicação na pergunta (em nenhum lugar diz que as pessoas têm 80% de certeza de saberem suas cores ou algo assim), não há como encontrar uma resposta certa e definitiva.

Dito isto ... Suspeito que a resposta esperada seja algo parecido com:

P(Blue) = (case 1 + case 4) * 900 / 1000 = (1/4  + 1/4) * 900 / 1000 = 45 %
P(non-Blue) = (case 2 + case  3) * 100 / 1000 = (1/4 + 1/4) * 100 / 1000 = 5%

onde os 50% restantes são simplesmente desconhecidos, chame de margem de erro.

$X,Y_1,Y_2,\ldots,Y_{1000} \in \{0,1\}$$1$$p(x)$$p_x$$Y_i|X=1$$p_1$$Y_i|X=0$$p_0$$\theta = (p_x,p_0,p_1)$

$p(\theta,x|y_{1:1000}) \propto p(\theta)p(x|\theta)\prod_{i=1}^{1000}p(y_i|x)$ . Formulá-lo dessa maneira destaca o fato de que (pelo menos se você é bayesiano) você precisa escolher os anteriores para esses três parâmetros. O ponto de vista bayesiano é bom, porque você pode aproveitar o que sabe sobre a frequência com que os carros são azuis e o que sabe sobre as tendências das pessoas de concordar com a realidade.

$\{x_i\}$$\{y_i|x\}$

A pessoa que não pode ver o carro não sabe que é cientificamente provado ser azul. A probabilidade de ele / ela ser azul é 50/50 (é azul ou não). Pesquisar outras pessoas pode influenciar a opinião dessa pessoa, mas isso não altera a probabilidade de um carro invisível ser azul ou não.

Toda a matemática acima determina a probabilidade de seu conjunto de amostras poder determinar se é azul.