Recentemente, terminei de ler The Lady Tasting Tea , um livro divertido sobre a história das estatísticas. No final do livro, o autor, David Salsburg , propõe três problemas filosóficos abertos em estatística, cujas soluções ele argumenta teriam implicações maiores para a aplicação da teoria estatística à ciência. Eu nunca tinha ouvido falar desses problemas antes, então estou interessado nas reações de outras pessoas a eles. Estou me aventurando em um território sobre o qual tenho pouco conhecimento; portanto, descreverei o retrato desses problemas por Salsburg e colocarei duas perguntas gerais sobre esses problemas abaixo.

Os problemas filosóficos de Salsburg são:

1. Modelos estatísticos podem ser usados ​​para tomar decisões?
2. Qual é o significado da probabilidade quando aplicada à vida real?
3. As pessoas realmente entendem a probabilidade?

Estatísticas e tomada de decisão

Como ilustração do problema apresentado na pergunta 1, Salsburg apresenta o seguinte paradoxo. Suponha que organizemos uma loteria com 10000 bilhetes não numerados. Se usarmos a probabilidade de tomar uma decisão sobre se um determinado bilhete ganhará na loteria, rejeitando esta hipótese para bilhetes com probabilidades abaixo, por exemplo, 0,001, rejeitaremos a hipótese de um bilhete vencedor para todos os bilhetes da loteria!

Salsburg usa esse exemplo para argumentar que a lógica é inconsistente com a teoria das probabilidades, pois atualmente ela é entendida e que, portanto, atualmente não temos um bom meio de integrar estatísticas (que, em sua forma moderna, se baseia em grande parte em teoria das probabilidades) com um meio lógico de tomada de decisão.

O significado da probabilidade

Como uma abstração matemática, Salsburg argumenta que a probabilidade funciona bem, mas quando tentamos aplicar os resultados à vida real, encontramos o problema de que a probabilidade não tem significado concreto na vida real. Mais especificamente, quando dizemos que há 95% de chance de chuva amanhã, não está claro para quais entidades esses 95% se aplicam. Isso se aplica ao conjunto de possíveis experimentos que poderíamos realizar para obter conhecimento sobre a chuva? Isso se aplica ao conjunto de pessoas que podem sair e se molhar? Salsburg argumenta que a falta de um meio para interpretar probabilidades cria problemas para qualquer modelo estatístico baseado em probabilidade (ou seja, a maioria deles).

As pessoas entendem a probabilidade?

Salsburg argumenta que uma tentativa de resolver os problemas com a falta de um meio concreto de interpretar probabilidade é através do conceito de " probabilidade pessoal ", proposto por Jimmie Savage e Bruno de Finetti, que entende probabilidade como crenças pessoais sobre a probabilidade de eventos futuros. No entanto, para que a probabilidade pessoal forneça uma base coerente de probabilidade, as pessoas precisam ter um entendimento comum do que é probabilidade e um meio comum de usar evidências para tirar conclusões sobre a probabilidade. Infelizmente, evidências como a produzida por Kahneman e Tversky sugerem que as crenças pessoais podem ser uma base difícil sobre a qual criar uma base coerente de probabilidade. Salsburg sugere que os métodos estatísticos que modelam probabilidades como crenças (talvez como os métodos bayesianos? Estou ampliando meu conhecimento aqui) precisarão lidar com esse problema.

Minhas perguntas

1. Até que ponto os problemas de Salsburg são realmente problemas para as estatísticas modernas?
2. Fizemos algum progresso no sentido de encontrar soluções para esses problemas?

Podemos usar estatísticas / probabilidade para tomar decisões? É claro que podemos, a maneira pela qual devemos agir sobre isso é escolhendo o curso de ação que minimiza nossa perda esperada. Nesse caso, todos os números da loteria têm a mesma probabilidade de aparecer; se todos oferecem o mesmo prêmio, a perda esperada é a mesma para qualquer número, portanto, não importa qual escolha. Se também tivermos a opção de não jogar na loteria, esse provavelmente seria o curso de ação que devemos tomar, pois minimizará nossa perda esperada, supondo que a loteria tenha lucro para alguém (ou pelo menos cubra o custo da loteria) ) É claro que isso é apenas senso comum e é consistente com a lógica, e pode ser expresso em termos puramente probabilísticos.

Parece-me que a questão surge de uma visão bastante limitada de como as estatísticas podem ser usadas para tomar decisões, e isso não precisa ser feito com testes de hipótese quase-pescadores.

Eu sugeriria que o livro de Jaynes sobre a teoria das probabilidades é uma maneira justa de abordar os pontos (2) e (3), as probabilidades podem representar medidas objetivas de plausibilidade sem que sejam "probabilidades pessoais", mas espero que @probabilityislogic possa explicar isso melhor do que eu posso.

Não acho que sejam realmente perguntas que possam ser respondidas conclusivamente. (IOW, eles são, de fato, filosóficos). Dito isto...

Estatísticas e tomada de decisão

Sim, podemos usar estatísticas na tomada de decisão.

No entanto, existem limites para sua aplicabilidade; IOW, é preciso entender o que estamos fazendo.

Isso é totalmente aplicável a qualquer teoria.

O significado da probabilidade

95% de probabilidade de chuva amanhã significa que, se o seu custo de preparação para uma chuva (por exemplo, pegar o guarda-chuva) é Ae o seu custo de ser pego na chuva despreparado (por exemplo, roupa de mergulho) é B, então você deve levar o guarda-chuva com você iff A < 0.95 * B .

As pessoas entendem a probabilidade?

Não, as pessoas não entendem muito, muito menos a probabilidade.

Kahneman e Tversky mostraram que a intuição humana é falha em muitos níveis, mas a intuição e a compreensão não são idênticas, e eu argumentaria que as pessoas entendem ainda menos do que intuem.

Até que ponto os problemas de Salsburg são realmente problemas para as estatísticas modernas?

Nada. Não acho que alguém se importe com essas questões, exceto os filósofos e aqueles com um humor filosófico.

Fizemos algum progresso no sentido de encontrar soluções para esses problemas?

Todo mundo que se importa tem uma resolução. Minha resolução pessoal está acima.