Existem artigos altamente citados sobre estatísticas que realmente espalharam práticas estatísticas ruins?

Obviamente, existem muitas maneiras de abusar dos métodos estatísticos. Você conhece algum exemplo de má prática estatística que foi publicado pela primeira vez como conselhos explícitos (por exemplo, "você deve usar esse método para ..."), em periódicos acadêmicos respeitáveis ​​que depois foram citados repetidamente?

Um exemplo pode ser os 10 eventos por regra preditora que são frequentemente chamados para modelos de regressão logística ou de Cox PH ( LINK ).

Para ser claro, não estou falando de artigos altamente citados que usavam métodos estatísticos ruins - esses são trivialmente comuns, infelizmente.

RA Fisher, "O arranjo de experiências de campo". Jornal do Ministério da Agricultura da Grã-Bretanha. 33: 503-513. 1926

$\alpha = 0.05$

... é conveniente traçar a linha no nível em que podemos dizer: "Existe algo no tratamento ou ocorreu uma coincidência, como não ocorre mais de uma vez em vinte tentativas".

... Se um em cada vinte não parece ter probabilidades suficientemente altas, podemos, se preferirmos, traçar a linha em um em cinquenta (o ponto de 2%) ou em uma em cem (o ponto de 1%). Pessoalmente, o escritor prefere estabelecer um baixo padrão de significância no ponto de 5% e ignora inteiramente todos os resultados que não atingem esse nível. Um fato científico deve ser considerado experimentalmente estabelecido apenas se um experimento adequadamente projetado raramente falhar em fornecer esse nível de significância.

Em econometria, você certamente pode encontrar alguns exemplos de métodos propagados por econométricos conhecidos (e altamente qualificados) publicados em periódicos decentes. Não conheço um artigo teórico, mas Lalonde (1986) é bastante famoso por apontar que os métodos atualmente usados ​​não funcionam bem: ele compara o mesmo método experimental de conjunto de dados com os observacionais e encontra grandes diferenças no campo do tratamento (causal) avaliação . Existe uma grande literatura que propagou esses métodos não experimentais que foram usados ​​na época e que ainda são usados ​​hoje em dia.

Posteriormente, houve (e acho que ainda existe) um debate sobre se a correspondência de propensão é uma solução possível (veja, por exemplo, aqui ).

Além disso, há muita controvérsia sobre a estimativa de variáveis ​​instrumentais . As conclusões de artigos originais altamente citados foram contestadas. Este é provavelmente o exemplo mais próximo da sua pergunta. Bound e Jaeger (1996 e trabalhos posteriores) questionaram as descobertas do conhecido artigo de Angrist e Krueger (1991; 2700 citações de acordo com o Google Scholar), que basicamente estabeleceram o método da variável instrumental na literatura econométrica aplicada.

Há também um grande debate sobre a adequação das chamadas estimativas de forma reduzida para estabelecer a causalidade, ver, por exemplo, Imbens (2010) .

Outro grande tópico é, obviamente, sobre erro padrão. Talvez seja possível encontrar um papel bem conhecido que propague valores p. Na econometria, o erro padrão para séries temporais mais longas tem sido frequentemente calculado incorretamente (no projeto diferença-diferença ) devido a métodos existentes errados, veja aqui . No entanto, não estou ciente de um artigo original altamente citado propondo esses métodos nesse contexto, mas estou certo de que você encontrará alguns exemplos nessa área.

Fontes:

Angrist, Joshua D. e Alan B. Keueger. "A frequência escolar obrigatória afeta a escolaridade e os ganhos?" The Quarterly Journal of Economics 106, n. 4 (1991): 979-1014.

Bertrand, Marianne, Esther Duflo e Sendhil Mullainathan. "Quanto devemos confiar nas estimativas de diferenças nas diferenças?" The Quarterly journal of economics 119, n. 1 (2004): 249-275.

Bound, John e David A. Jaeger. Sobre a validade da estação de nascimento como instrumento nas equações salariais: um comentário sobre a frequência obrigatória da escola de Angrist & Krueger afeta a Scho. No. w5835. National Bureau of Economic Research, 1996.

Dehejia, Rajeev. "Correspondência prática de pontuação de propensão: uma resposta a Smith e Todd." Journal of econometrics 125, n. 1-2 (2005): 355-364.

Imbens, Guido W. "Melhor tarde que nada: alguns comentários sobre Deaton (2009) e Heckman e Urzua (2009)". Revista de Literatura Econômica 48, n. 2 (2010): 399-423.

LaLonde, Robert J. "Avaliando as avaliações econométricas de programas de treinamento com dados experimentais". The American economic review (1986): 604-620. *

Faço uma tentativa (embora não tão forte):

O muito útil [Cameron, AC & Miller, DL (2015). Um guia do profissional para inferência robusta em cluster. Journal of Human Resources, 50 (2), 317-372.] // já 1900 citações do Google Acadêmico // fornece conselhos sobre o nível apropriado de agrupamento de erros padrão:

"O consenso é ser conservador e evitar preconceitos e usar clusters maiores e mais agregados quando possível, até e incluindo o ponto em que há preocupação em ter poucos clusters".

No entanto, [Abadie, A., Athey, S., Imbens, GW, & Wooldridge, J. (2017). Quando você deve ajustar os erros padrão para clustering? (No. w24003). National Bureau of Economic Research.] Mostra que "de fato há danos ao agrupar em um nível muito agregado". Consulte a página 1 do seguinte: https://economics.mit.edu/files/13927

Talvez você também possa defender um argumento mais forte a partir dos dois equívocos destacados por Abadie et al (2017).