Exemplos de consequências caras do uso inadequado de ferramentas estatísticas

Eu suspeito que a maioria dos usuários de ferramentas estatísticas são usuários auxiliares (pessoas que tiveram pouco ou nenhum treinamento formal em estatística). É muito tentador para pesquisadores e outros profissionais aplicar métodos estatísticos a seus dados simplesmente porque eles já o viram "feito antes" em artigos revisados ​​por pares, literatura cinzenta, web ou em uma conferência. No entanto, fazê-lo sem uma compreensão clara das suposições necessárias e das limitações da ferramenta estatística pode levar a resultados errôneos - erros geralmente não reconhecidos!

Acho que os estudantes de graduação (particularmente nas ciências sociais e naturais) desconhecem as armadilhas estatísticas ou consideram essas armadilhas inconseqüentes (sendo o último na maioria das vezes). Embora exemplos de uso indevido de ferramentas estatísticas possam ser encontrados em muitos livros de texto de nível introdutório, na Web ou no StackExchange, é difícil encontrar exemplos do mundo real que tiveram resultados prejudiciais (por exemplo, custo em US $, vidas afetadas e carreiras perdidas) . Para esse fim, estou procurando exemplos do mundo real que destacam o uso indevido de métodos estatísticos para os quais:

1. os métodos estatísticos utilizados são normalmente abordados nos cursos introdutórios de estatísticas (ou seja, estatísticas inferenciais, regressões, etc.)
2. o resultado final teve consequências onerosas (dólares perdidos, vidas afetadas, carreiras destruídas etc.)
3. os dados estão prontamente disponíveis para serem usados ​​como exemplos de trabalho em um curso (o objetivo é fazer com que os alunos trabalhem com exemplos do mundo real que tiveram consequências no mundo real).

Um exemplo não estatístico que eu gosto de trazer para os alunos quando discutem a importância de definir corretamente as unidades em um projeto de pesquisa é o “acidente métrico” que levou à perda de um satélite de US $ 125 milhões! Isso geralmente invoca um fator: -o dos alunos e parece ter uma impressão duradoura (pelo menos durante toda a sua curta vida acadêmica).

Não tenho certeza sobre a disponibilidade dos dados, mas um ótimo exemplo (se essa é a palavra certa) de estatísticas ruins é o Estudo das Enfermeiras de Harvard sobre a eficácia da terapia de reposição hormonal (TRH) em mulheres na menopausa.

Qual é a ideia geral? O Estudo das Enfermeiras sugeriu que a TRH era benéfica para as mulheres na pós-menopausa. Acontece que esse resultado surgiu porque o grupo controle era muito diferente do grupo de tratamento e essas diferenças não foram explicadas na análise. Em estudos randomizados subsequentes, a TRH foi associada a câncer, ataque cardíaco, derrame e coágulos sanguíneos. Com as correções apropriadas, o estudo dos enfermeiros também revela esses padrões.

Não consigo encontrar estimativas de mortes nos EUA relacionadas à TRH, mas a magnitude foi de dezenas de milhares. Um artigo vincula 1000 mortes no Reino Unido à HRT.

Este artigo da New York Times Magazine fornece um bom histórico estatístico dos problemas de confusão presentes no estudo.

Há uma discussão acadêmica nesta edição do American Journal of Epidemiology. Os artigos comparam os resultados do estudo das Enfermeiras observacionais aos da Women's Health Initiative, com base em ensaios randomizados.

Também há discussão (por muitos dos mesmos indivíduos) em uma edição da Biometrics. Veja o comentário de Freedman e Petitti em particular [ versão pré-pub ].

Um exemplo histórico maravilhoso é proporcionado pela publicação de 1933 de Triumph of Mediocrity in Business, de Horace Secrist . Na época, Secrist era um estatístico bem estabelecido, autor de um livro didático (c. 1919, eu me lembro), bem conectado na American Statistical Association e chefe de um grupo de pesquisa estatística na Northwestern University. Ele e sua equipe passaram a década anterior compilando séries temporais de dados comerciais, que são reproduzidos e analisados ​​minuciosamente no livro. Era para ser um chef d'oeuvre por um estatístico ambicioso.

A resenha do livro de Harold Hotelling , publicada no JASA no final daquele ano, apontou que o Secrist havia apenas documentado centenas de exemplos de regressão à média (um tópico fundamental em qualquer curso introdutório de estatística hoje, ponto 1 da pergunta). Secrist objetou em uma resposta publicada. A resposta de Hotelling a isso é um clássico:

"Provar" esse resultado matemático por um estudo numérico dispendioso e prolongado ... é análogo a provar a tabuada de multiplicação organizando os elefantes em linhas e colunas e fazendo o mesmo para vários outros tipos de animais. A performance, embora talvez divertida e com certo valor pedagógico, não é uma contribuição importante nem para a zoologia nem para a matemática.

[JASA v. 29 # 186, junho de 1934, p. 199.]

Secrist parece ter desaparecido rapidamente da cena estatística logo depois disso ("carreiras arruinadas", ponto 2 da pergunta). O livro dele ainda está disponível. (Alguns anos atrás, obtive uma cópia limpa e agradável, obviamente pouco lida, através do Empréstimo entre bibliotecas.) Dela, é possível extrair qualquer número de conjuntos de dados de exemplo (ponto 3 da pergunta).

Steven Stigler relata esta história em um livro e um artigo, A história da estatística em 1933 .

Parece-me que a opinião da Wired sobre a quebra da bolsa de 2008 pode ser um exemplo informativo. Não posso comentar se as conclusões estão corretas ou não, mas a ideia de usar correlações sobre dados que não são uma amostra representativa parece algo que pode ser apropriado às circunstâncias que você sugere. Também é atual e, portanto, pode mantê-los interessados.

Eu pensei que você poderia encontrar este Ted Talk interessante e relevante:

• http://www.ted.com/talks/ben_goldacre_battling_bad_science.html