Acomodando visualizações entrincheiradas de valores-p

Às vezes, nos relatórios, incluí um aviso sobre os valores-p e outras estatísticas inferenciais que forneci. Digo que, como a amostra não foi aleatória, essas estatísticas não se aplicariam estritamente. Minha redação específica geralmente é dada em uma nota de rodapé:

"Embora, estritamente falando, as estatísticas inferenciais sejam aplicáveis apenas no contexto de amostragem aleatória, seguimos a convenção em relatar níveis de significância e / ou intervalos de confiança como parâmetros convenientes, mesmo para amostras não aleatórias. Veja a inferência estatística de Michael Oakes : ciências comportamentais (NY: Wiley, 1986).

Em algumas ocasiões - uma vez para um artigo revisado por pares, uma ou duas vezes em um ambiente não acadêmico - o editor ou revisor se opôs a este aviso, chamando-o de confuso, e achou que os resultados inferenciais deveriam simplesmente permanecer escritos. (e receba o manto de autoridade). Alguém mais encontrou esse problema e encontrou uma boa solução? Por um lado, a compreensão das pessoas sobre os valores-p é geralmente sombria, mesmo no contexto de amostragem aleatória, portanto, talvez não importe muito o que dizemos. Por outro lado, contribuir ainda mais para mal-entendidos parece fazer parte do problema. Devo acrescentar que lida frequentemente com estudos de pesquisa, nos quais a atribuição aleatória não se aplica e as simulações de Monte Carlo frequentemente falham em abordar a questão da representatividade.

inference p-value

— rolando2
fonte

o comentário sobre um revisor é extremamente triste, seria de esperar que uma pessoa nessa posição pelo menos não mostrasse abertamente sua ignorância e, ao fazer isso, apóia ainda mais a má interpretação do método estatístico.

— 22411 richardorrisroe

Corrija-me se estiver errado, mas a aleatoriedade da amostragem simplesmente afeta o grau em que você pode generalizar as descobertas. Por outro lado, a atribuição aleatória é a característica mais crítica para a inferência causal.

— Mike Lawrence

Mike, eu concordo com você. Você faz questão de estender a discussão ou indicar desacordo com algo que eu disse?

— Rolando2

@richiemorrisroe: seria tolice esperar isso de todos os revisores, mas suponho que possamos esperar um futuro em que possamos esperar isso, e certamente devemos pressionar os editores a fazer mais para exigir e fazer cumprir isso do que atualmente. Rolando, acho que o de Mike é apenas um ponto de esclarecimento para desambiguar essa discussão de questões relacionadas à inferência causal. Evidentemente, algumas pessoas acharam isso útil, embora eu achasse que já era suficientemente claro, pessoalmente. Se eu estiver certo, isso inadvertidamente mede a confusão dos outros sobre os valores de p , o que motiva a postagem original!

— Nick Stauner

Respostas:

De fato, existe um argumento para não incluir o aviso. Francamente, eu consideraria um breve tratado sobre a natureza dos valores-p em um artigo de jornal e, por um momento, teria que fazer uma pausa e tentar descobrir se você tinha feito algo particularmente .. .esotérico ... para justificar a dedução desse espaço a um ponto de definição.

Basicamente, como revisor, eu consideraria desnecessário porque o leitor já deve saber o que é e faz um valor-p. Eu posso até contestar isso, porque fazer essa anotação na verdade não impede nenhum dos muitos crimes de análise e interpretação que acompanham os valores-p, apenas coloca uma capa de "confie em mim, eu sei o que estou fazendo". Também é um pouco estranho - "Vou tomar uma posição ousada contra os valores-p, mas não tão ousados que não os denunciem".

Quando considero "visões entrincheiradas sobre valores-p", estou muito menos preocupado com algo como o que você postou acima e muito mais com a insistência dos revisores na significância estatística para serem publicados ou no foco do artigo (coloque uma estrela por uma descoberta e de repente é um grande negócio) ou combinando significância estatística com a significância de uma descoberta.

— Fomite
fonte

Acho que isso não responde ao OP. Suponho que @ rolando2 reporte outras estatísticas que são mais centrais em suas discussões (por exemplo, tamanhos de efeito) e, principalmente, reporte valores de p como uma maneira de acomodar as expectativas convencionais, mesmo que elas não se apliquem estritamente. Como tal, devemos ficar desanimados em qualquer extensão que estamos lendo demais em valores de p ; devemos considerar sua motivação para o aviso. Os leitores não sabem o que deveriam; o PO menciona isso. O aviso promove dúvida, não confiança. Não é tão estranho se opor a um padrão enquanto ele está em conformidade; não é uma posição ousada.

— precisa

@NickStauner Não vejo como isso não "responde" ao OP. Talvez não apóie o que eles querem fazer, mas, na minha opinião, é uma pausa realmente estranha do conteúdo real do artigo e também inútil - "Isso está errado, mas vou continuar como se fosse certo, porque é o que todos esperam "não me diz se o mal é importante .

— Fomite

A pergunta do OP: "Alguém mais encontrou esse problema e encontrou uma boa solução?" Sua resposta ignora a pergunta literal para responder à ideia e, principalmente, oferece suas opiniões sobre por que a ideia deve ser derrubada. Você está começando a sugerir uma crítica construtiva da idéia do OP: você não parece achar que a citação de Oakes lhe diz por que isso é importante. Vou expandir um pouco isso em uma resposta própria.

— Nick Stauner

O uso de estatística inferencial pode ser justificado não apenas com base em um modelo populacional, mas também com base em um modelo de randomização. O último não faz suposições sobre a forma como a amostra foi obtida. De fato, foi Fisher quem sugeriu que o modelo de randomização deveria ser a base da inferência estatística (em oposição a Neyman e Pearson). Veja, por exemplo:

Ernst, MD (2004). Métodos de permutação: Uma base para inferência exata. Statistical Science, 19, 676-685. [link (acesso aberto)]

Ludbrook, J. & Dudley, H. (1998). Por que os testes de permutação são superiores aos testes te F na pesquisa biomédica. American Statistician, 52, 127-132. [link (se você tiver acesso ao JSTOR)]

De alguma forma, duvido que os editores ou revisores em questão estejam usando isso como motivo para chamar seu aviso de "confuso".

— Wolfgang
fonte

Wolfgang - pontos interessantes e úteis. Eu deveria ter deixado claro, porém, que grande parte do meu trabalho está em pesquisas.

— Rolando2

Se o objetivo principal é fazer algum tipo de inferência para a população e o mecanismo de amostragem for de tal natureza que a representatividade da amostra seja questionável, então, de fato, qualquer inferência também será bastante questionável. Essencialmente, você só pode fazer uma inferência para a parte da população da qual o mecanismo de amostragem fornece uma representação. Em princípio, as inferências que você fizer serão apropriadas para essa parte da população. Se essa parte da população é de seu interesse (ou os leitores) é outra questão.

— 15119 Wolfgang

$p$ de fato, é necessário relatar os valores, apesar de sua invulgaridade não negligenciável em um estudo problemático (uma classe na qual caem muitos artigos publicados), alguém pode subestimá-los implicitamente. Você pode focar sua narrativa - talvez até exclusivamente - nos tamanhos dos efeitos. Se o seu estudo é suficientemente representativo para ser útil informativo (isso não deve exigir uma amostragem perfeitamente aleatória, apenas cautela na generalidade das interpretações), o tamanho do seu efeito deve ter implicações mais amplas do que apenas indicar a existência e as direções dos relacionamentos ou diferenças. Focar a discussão em tamanhos de efeito pode facilitar uma compreensão mais profunda do quanto os relacionamentos ou diferenças são importantes no sentido prático, embora isso ainda precise ser considerado no contexto do objeto de estudo (por exemplo, $r = .03$ $p$ $p$ $p$

Outra opção potencialmente complementar seria expandir sua nota de rodapé. Suas descrições do problema, como analisadas pelos revisores, e a resposta atualmente aceita nesta página sugerem que não são fornecidas informações suficientes para explicar sua motivação para incluir a nota de rodapé, nem o suficiente para motivar o leitor a seguir sua citação à referência que você usa para explicar de maneira tão concisa. Uma única frase adicional, mesmo uma breve citação de sua referência, pode ajudar bastante a explicar o valor de sua nota de rodapé e motivar os leitores a ler mais profundamente. Evidentemente, sua nota de rodapé mais cedo motiva uma reação simples, negativa e desdenhosa em relação à sua tentativa discreta de interromper a complacência deles em relação a suposições impróprias. Os leitores podem ser um pouco menos preguiçosos intelectualmente se você lhes der um ou dois dos principais pontos sobre os problemas que eles provavelmente ignoram rotineiramente. Além disso, para muitos problemas específicos com $p$

$p$

$p$ $p$ $p$

Referências

^{- Goodman, SN (1992). Um comentário sobre replicação, valores- P e evidência. Statistics in Medicine, 11 (7), 875-879.

- Goodman, SN (2001). De P -Valores e Bayes: Uma proposta modesta. Epidemiology, 12 (3), 295-297. Recuperado em http://swfsc.noaa.gov/uploadedFiles/Divisions/PRD/Programs/ETP_Cetacean_Assessment/Of_P_Values_and_Bayes__A_Modest_Proposal.6.pdf .

- Goodman, S. (2008). Uma dúzia suja: equívocos de doze valores de P. Seminários em Hematologia, 45 (3), 135–140. Recuperado em http://xa.yimg.com/kq/groups/18751725/636586767/name/twelve+P+value+misconceptions.pdf .

- Gorroochurn, P., Hodge, SE, Heiman, GA, Durner, M. e Greenberg, DA (2007). Não replicação de estudos de associação: “pseudo-falhas” para replicar? Genetics in Medicine, 9 (6), 325-331. Recuperado em http://www.nature.com/gim/journal/v9/n6/full/gim200755a.html .

- Hurlbert, SH, e Lombardi, CM (2009). Colapso final do referencial teórico da decisão Neyman – Pearson e ascensão do neoFisherian. Annales Zoologici Fennici, 46 (5), 311-349. Recuperado em http://xa.yimg.com/kq/groups/1542294/508917937/name/HurlbertLombardi2009AZF.pdf .

- Lew, MJ (2013). Para P ou não para P: Sobre a natureza evidencial dos valores de P e seu lugar na inferência científica. arXiv: 1311.0081 [stat.ME]. Recuperado dehttp://arxiv.org/abs/1311.0081 .

- Nuzzo, R. (2014, 12 de fevereiro). Método científico: erros estatísticos. Nature News, 506 (7487). Recuperado em http://www.nature.com/news/scientific-method-statistical-errors-1.14700 .

- Rosenthal, R., Rosnow, RL, & Rubin, DB (2000). Contrastes e tamanhos de efeito na pesquisa comportamental: Uma abordagem correlacional. Cambridge University Press.

- Senn, S. (2001). Duas saudações pelos valores P? Jornal de Epidemiologia e Bioestatística, 6 (2), 193–204. Recuperado em http://www.phil.vt.edu/dmayo/conference_2010/Senn%20Two%20Cheers%20Paper.pdf .

- Wagenmakers, EJ (2007). Uma solução prática para os problemas difundidos devalores de p . Psychonomic Bulletin & Review, 14 (5), 779-804. Recuperado em http://www.brainlife.org/reprint/2007/Wagenmakers_EJ071000.pdf .}

— Nick Stauner
fonte

Nem todas as críticas aos valores-P são corretas ou justificadas, apesar de sua veemência. Você deve ver estes dois documentos para alguns contrapontos aos comentários que você cita: Dois elogios aos valores P (de Stephen Senn) phil.vt.edu/dmayo/conference_2010/… ; Para P ou para não P (por mim) arxiv.org/abs/1311.0081

— Michael Lew

Excelente ponto! Obrigado! Editei um pouco para incluir suas contribuições e posso editá-las um pouco mais quando as entender bem o suficiente para incorporar suas implicações no restante do que disse. É por isso que eu amo Cruz Validado ...

— Nick Stauner

Você tem alguma evidência experimental a favor da sua alegação de que a suposição de Edwards se estende aos valores de p? Eu me acho extremamente cético. Na minha maneira de analogia, vi alguns artigos que demonstram que mesmo cientistas de dados experientes têm problemas para estimar um coeficiente de correlação a partir de um gráfico de dispersão. Parece que você está pedindo muito mais aos cientistas para entender o que um valor de p significa em termos de probabilidade. Seu argumento a favor das funções de probabilidade é interessante ... elas tendem a parecer um pouco com distribuições posteriores, não?

— russellpierce

@ rpierce Não tenho evidências experimentais para a compreensão dos usuários de métodos estatísticos. Eu sustentaria, no entanto, que pelo menos alguns dos estudos que foram realizados para verificar se os cientistas "entendem" os valores de p são fatalmente defeituosos por não incluir entre as opções uma verdadeira descrição comprovativa significativa do valor de p. Sua analogia não está próxima porque o fato de que os coeficientes de correlação não são facilmente estimados não é o mesmo problema que estimar a força da evidência a partir de um valor-p.

— Michael Lew

@rpierce A função de densidade de probabilidade posterior de um uniforme anterior será proporcional à função de probabilidade.

— Michael Lew