Por que as estatísticas são úteis quando muitas coisas importantes são únicas?

Não sei se sou só eu, mas sou muito cético em relação às estatísticas em geral. Eu posso entender isso em jogos de dados, jogos de pôquer, etc. Jogos repetidos muito pequenos, simples e principalmente independentes são bons. Por exemplo, um pouso de moeda em sua borda é pequeno o suficiente para aceitar a probabilidade de que o pouso da cara ou coroa seja ~ 50%.

Jogar um jogo de pôquer de US $ 10 com o objetivo de obter uma vitória de 95% é bom. Mas e se toda a sua economia de vida + mais depender de você conseguir ou não uma vitória? Como saber se você venceria em 95% do tempo nessa situação me ajudaria? O valor esperado não ajuda muito lá.

Outros exemplos incluem uma cirurgia com risco de vida. Como isso ajuda a saber que é uma taxa de sobrevivência de 51% versus uma taxa de sobrevivência de 99%, dados dados existentes? Nos dois casos, não acho que seja importante para mim o que o médico me diz, e eu aceitaria. Se os dados reais forem de 75%, ele poderia me dizer (com exceção da ética e da lei), que há uma chance de sobrevivência de 99,9999999%, para que eu me sinta melhor. Em outras palavras, os dados existentes não importam, exceto binomialmente. Mesmo assim, não importa se há uma taxa de sobrevivência de 99,9999999, se eu acabar morrendo.

Além disso, probabilidade de terremoto. Não importa se um forte terremoto aconteceu a cada x (onde x> 100) anos, em média. Não tenho idéia se um terremoto acontecerá na minha vida. Então, por que essas informações são úteis?

Um exemplo menos sério, digamos, 100% dos lugares que já visitei estão nas Américas, indiferentes a 100% dos lugares que já visitei na Europa e odeio 100% dos lugares que já visitei esteve na Ásia. Agora, isso não significa que eu não encontraria um lugar que eu amo na Ásia na minha próxima viagem ou odeio na Europa ou indiferente na América, apenas pela natureza de que as estatísticas não capturam todas as informações que eu tenho. e provavelmente nunca consigo capturar todas as informações necessárias, mesmo que tenha viajado para mais de x% de todos esses continentes. Só porque existem incógnitas em 1% x desses continentes em que eu não estive. (Sinta-se à vontade para substituir os 100% por qualquer outra porcentagem).

Entendo que não há maneira de fazer força bruta em tudo e que você precisa confiar nas estatísticas em muitas situações, mas como podemos acreditar que as estatísticas são úteis em nossa situação única, especialmente quando as estatísticas basicamente não extrapolam para eventos extremos?

Alguma idéia para superar meu ceticismo em relação às estatísticas?

Primeiro, acho que você pode estar confundindo "estatísticas", significando uma coleção de números ou outros fatos que descrevem um grupo ou situação, e "estatísticas", significando a ciência de usar dados e informações para entender o mundo diante da variação (outros podem ser capaz de melhorar minhas definições). Os estatísticos usam os dois sentidos da palavra, por isso não é surpreendente quando as pessoas os misturam.

A estatística (a ciência) tem muito a ver com escolher estratégias e escolher a melhor estratégia, mesmo que apenas a apliquemos uma vez. Em algumas ocasiões em que eu (e outros) ensino probabilidade, usamos o clássico problema de Monty Hall (3 portas, 2 cabras, 1 carro) para motivá-lo e mostramos como podemos estimar probabilidades jogando o jogo várias vezes (não por prêmios ) e podemos ver que a estratégia "alternar" vence 2/3 das vezes e a estratégia "permanecer" vence apenas 1/3 das vezes. Agora, se tivéssemos a oportunidade de jogar o jogo uma única vez, saberíamos algumas coisas sobre qual estratégia oferece melhores chances de ganhar.

O exemplo da cirurgia é semelhante, você só fará a cirurgia (ou não terá a cirurgia) uma vez, mas não quer saber qual estratégia beneficia mais pessoas? Se suas escolhas são cirurgia com alguma chance maior que 0% de sobrevivência ou nenhuma cirurgia e 0% de sobrevivência, sim, há pouca diferença entre a cirurgia ter 51% de sobrevivência e 99,9% de sobrevivência. Mas e se houver outras opções também, você pode escolher entre cirurgia, não fazer nada (que tem 25% de sobrevivência) ou uma mudança de dieta e exercício que tenha 75% de sobrevivência (mas exige esforço de sua parte), não você se preocupa se a opção de cirurgia tem 51% vs. 99% de sobrevivência?

Considere também o médico, ele estará fazendo mais do que apenas sua cirurgia. Se a cirurgia tiver 99,9% de sobrevida, ele não terá motivos para considerar alternativas, mas se tiver apenas 51% de sobrevida, embora possa ser a melhor opção hoje, ele deve procurar outras alternativas que aumentem essa sobrevida. Sim, mesmo com 90% de sobrevida, ele perderá alguns pacientes, mas qual estratégia lhe dá a melhor chance de salvar o maior número de pacientes?

Hoje de manhã eu usava o cinto de segurança enquanto dirigia (minha estratégia habitual), mas não sofri nenhum acidente; minha estratégia foi uma perda de tempo? Se eu soubesse quando iria sofrer um acidente, poderia economizar tempo apenas colocando o cinto de segurança nessas ocasiões e não em outras. Mas não sei quando vou sofrer um acidente, por isso vou manter minha estratégia de usar o cinto de segurança, porque acredito que me dará a melhor chance se eu estiver em um acidente, mesmo que isso signifique perder um pouco de tempo e esforço na alta porcentagem (espero 100%) de vezes que não há acidente.

Só porque você não usa estatísticas em sua vida diária não significa que o campo não o afeta diretamente. Quando você está no médico e eles recomendam um tratamento em detrimento do outro, você pode apostar que, por trás dessa recomendação, havia muitos ensaios clínicos que usavam estatísticas para interpretar os resultados de seus experimentos.

Acontece que o conceito de valor esperado também é muito útil, mesmo se você não o usar pessoalmente. Seu exemplo de aposta em sua economia de vida não leva em consideração o risco que você tem. Outras situações podem ter menos riscos adversos ou onde não há resultados catastróficos. Negócios, finanças, contextos atuariais e outros são exemplos disso. Talvez você esteja emitindo apólice de seguro residencial - então, de repente, saber a probabilidade de um terremoto ocorrer dentro de um determinado período de tempo é muito importante.

No final, as estatísticas são uma ótima maneira de lidar com a incerteza. No seu último exemplo, você criou alguns dados sobre lugares que gosta de viajar e afirmou que as estatísticas dizem que você nunca encontrará um lugar na Ásia que gosta. Isso está errado. É claro que esses dados farão com que você acredite que a Ásia tem menos chances de ter um lugar que você gosta, mas você pode definir sua crença anterior como o que quiser, e as estatísticas mostrarão como atualizar sua crença diante dos novos dados. Além disso, permite modificar sua crença de uma maneira baseada em princípios que lhe permitirá agir racionalmente na presença de incerteza.

O mundo é estocástico, não determinístico. Se fosse determinista, os físicos governariam o mundo e os estatísticos ficariam sem emprego. Mas a realidade é que os estatísticos estão em alta demanda em quase todas as disciplinas. Isso não quer dizer que não haja lugar para a física e outras ciências, mas a estatística trabalha de mãos dadas com a ciência e é a base de muitas descobertas científicas.

Chega de conversa e até detalhes. Trabalhei nos últimos 17 anos na indústria médica, primeiro em dispositivos médicos, depois em produtos farmacêuticos e agora em pesquisa médica geral. Drogas e dispositivos médicos que melhoram a qualidade de vida e freqüentemente salvam ou prolongam a vida são desenvolvidos e aprovados regularmente neste país e em todo o mundo. Nos EUA, a aprovação exige evidências de segurança e eficácia antes que o FDA permita a comercialização de um medicamento ou dispositivo médico. A evidência para o FDA vem de ensaios clínicos em fases. Todos os ensaios clínicos requerem métodos estatísticos e de análise válidos. Nada é perfeito. Os medicamentos funcionam bem para algumas pessoas, enquanto outros podem não responder ou terão eventos adversos (reações ruins que podem causar doenças ou morte). Os ensaios separam os medicamentos ineficazes dos eficazes. A maioria dos medicamentos falha e geralmente há um ciclo de dez anos, desde o desenvolvimento inicial até o final da fase III, com aprovação e comercialização no final do estudo. A vigilância pós-mercado, que também exige estatísticas, é aplicada para garantir que o medicamento funcione suficientemente bem para a população em geral. Às vezes, a população geral para a qual o medicamento é aprovado é um grupo menos restritivo do que os pacientes elegíveis para os ensaios clínicos. Às vezes, as drogas se tornam perigosas e são retiradas do mercado. As estatísticas ajudam em todos os aspectos da segurança de medicamentos. A vigilância pós-mercado, que também exige estatísticas, é aplicada para garantir que o medicamento funcione suficientemente bem para a população em geral. Às vezes, a população geral para a qual o medicamento é aprovado é um grupo menos restritivo do que os pacientes elegíveis para os ensaios clínicos. Às vezes, as drogas se tornam perigosas e são retiradas do mercado. As estatísticas ajudam em todos os aspectos da segurança de medicamentos. A vigilância pós-mercado, que também exige estatísticas, é aplicada para garantir que o medicamento funcione suficientemente bem para a população em geral. Às vezes, a população geral para a qual o medicamento é aprovado é um grupo menos restritivo do que os pacientes elegíveis para os ensaios clínicos. Às vezes, as drogas se tornam perigosas e são retiradas do mercado. As estatísticas ajudam em todos os aspectos da segurança de medicamentos.

Estatística não é perfeita. Vivemos com alguns erros devido à aleatoriedade e incerteza. Mas é controlado e nossas vidas são melhores e os erros são reduzidos do que seriam se a ciência estatística não estivesse envolvida.

Eu mesmo tenho as mesmas dúvidas sobre a utilidade da probabilidade e das estatísticas quando se trata de tomar decisões sobre um único evento. Na minha opinião, conhecer a probabilidade real ou estimada é extremamente importante quando o objetivo é estimar os resultados das amostras, sejam eles um único evento repetido várias vezes ou uma amostra afogada de uma determinada população. Em resumo, conhecer a probabilidade faz mais sentido para o cassino que, com base nos cálculos de probabilidade, pode estabelecer as regras que garantem que ele venceria a longo prazo (após muitas jogadas) e não para um jogador que finge jogar uma vez, então ele ganharia ou perderia (esses são os resultados quando o experimento é realizado uma única vez). Também é importante para os generais que consideram enviar seus soldados para uma batalha com o risco (probabilidade) de perder 10% deles, mas não para uma certa solda (digamos, John) que só vai morrer ou sobreviver. Existem muitos exemplos como esses na vida real.

O ponto que quero enfatizar é que, Probabilidade e Estatística, não só são úteis na vida real, mas, mais precisamente, são uma ferramenta para todas as pesquisas científicas modernas e regras de tomada de decisão. No entanto, não é correto dizer que racionalidade implica confiar na probabilidade de um único evento, sem a intenção ou a possibilidade de repeti-lo, para estimar o resultado. A tendência da probabilidade de influenciar a decisão de um determinado indivíduo, com base em seu grau de aversão ao risco, é obviamente subjetiva. A prevenção de riscos e o amante de riscos têm atitudes (decisões) diferentes em relação à mesma loteria (o mesmo valor esperado).

A longa e a curta é que a probabilidade é a generalização única da lógica verdadeira / falsa comum para graus de crença entre 0 e 1. Essa é a chamada interpretação bayesiana lógica da probabilidade, originada por RT Cox e posteriormente defendida por ET. Jaynes.

Além disso, sob premissas fracas, pode ser demonstrado que a maneira correta de ordenar resultados incertos por preferência é ordená-los pela utilidade esperada, com o esperado em relação à distribuição de probabilidade sobre os resultados.

Veja Robert Clemen, "Making Hard Decisions", para uma introdução e exposição sobre a análise de decisão aplicada, baseada na probabilidade bayesiana e na utilidade esperada.

Você está absolutamente certo em ser cético em relação às estatísticas freqüentistas convencionais; pelo projeto de seus inventores (RA Fisher, J. Neyman, E. Pearson), é limitado a eventos repetitivos. Mas muitos problemas cotidianos não envolvem eventos repetitivos. O que fazer? A abordagem típica é uma combinação de forçar pinos quadrados em orifícios redondos e mover as traves. Vergonhoso, realmente.

Sou cético em relação às estatísticas pelos seguintes motivos.

1. Estou convencido de que alguém sem uma graduação em estatística não tem idéia do que está fazendo. Unf. existem milhões de pessoas em todo o mundo pesquisando sem uma pós-graduação em estatística. Eu era graduado em matemática na Universidade de Maryland College, Park. Tomei 4 400 aulas de matemática de nível. Tudo o que os professores fizeram foi ensinar como calcular coisas. Ninguém me ensinou como entender alguma coisa ou fazer qualquer análise estatística, exceto no teste de hipóteses, o que não faz sentido por 2 razões.
   1. Para cada teste de hipótese que me ensinaram, eu tive que fazer suposições de antemão. Ninguém me ensinou com quais suposições eu tinha que começar. 2. Valores P não fazem sentido logicamente. Uma pós-graduação em estatística pode ensinar qual é o valor de um p. No entanto, estou convencido de que nenhum estudante de graduação sabe como usá-lo. A definição de graduação assume uma probabilidade de algo que depende da hipótese estar correta. Logicamente, a definição não faz sentido. Pior ainda, ninguém nunca me disse de onde vem a probabilidade. Na verdade, enviei um e-mail para quase todo o meu departamento de matemática (mais de 200 pessoas) se alguém pudesse me dar uma resposta. As respostas mais populares e únicas foram "seria necessário ASSUMIR as taxas de erro para a probabilidade" (quando perguntei às pessoas como isso foi feito, todas elas me responderam "
   O mesmo aconteceu quando pesquisei no Google qual a significância do valor de um p. Isso me leva à conclusão ...

2. Até um sig. número de professores de matemática e estatística não tem idéia de qual é a lógica por trás da estatística. Não espero que as pessoas tenham um conhecimento profundo. No entanto, tenho a sensação de que mesmo um sig. % de pesquisadores e professores não entendem a lógica subjacente às estatísticas.

3. Erro estatístico não é a mesma coisa que erro real. Como as pessoas gostam de usar as estatísticas para derivar estimativas para coisas que são enormes, as pessoas gostam de usar o erro estatístico para "mascarar" o fato de que não têm idéia do erro real.

4. As pessoas usam amostras pequenas para grandes populações porque a teoria estatística diz que eles podem. Aprendi com um dos meus cursos universitários, que as pessoas gostam de usar dados estimados em cerca de 30 escolas no país para mostrar que existem poucos incidentes violentos nas escolas em todo o país. Existem cerca de 100.000 escolas. Isso parece loucura. Todo um movimento popular é baseado em cerca de 30 escolas em todo o país.

5. As pessoas gostam de tornar estatístico o ônus da prova. O Higgs Bossom nunca foi descoberto. Foi descoberto estatisticamente, mas isso não significa nada. Algo sendo descoberto puramente estatisticamente é inútil, porque ninguém sabe a precisão das estatísticas.

6. As pessoas gostam de usar estatísticas para fazer descrições importantes. As estatísticas podem ser usadas como um guia, mas ninguém sabe o quão preciso é realmente. Só porque um problema parece impossível de resolver não significa que a estatística é a próxima melhor coisa. O fato de o teste de DNA ser baseado em estatística me dá calafrios. Posso receber a pena de morte só por causa das estatísticas? Um assassino poderia ser libertado da prisão por causa de estatísticas?

Acredito que as estatísticas podem ser úteis, mas apenas se não forem usadas como conclusão. Acredito que as estatísticas podem nos dizer quais são algumas das possibilidades. Então lógica, não lógica estatística, deve ser usada para provar quais possibilidades estão corretas.