Escolhendo um teste estatístico com base no resultado de outro (por exemplo, normalidade)

Ouvi dizer que não é uma boa ideia escolher um teste estatístico com base no resultado de outro. Isso me parece estranho. Por exemplo, as pessoas geralmente escolhem usar um teste não paramétrico quando algum outro teste sugere que os resíduos não são normalmente distribuídos. Essa abordagem parece bastante aceita, mas não parece concordar com a primeira frase deste parágrafo. Eu só esperava obter esclarecimentos sobre esse assunto.

Dado que é a probabilidade de observar dados tão ou mais extremos se H 0 for verdadeiro, qual é a interpretação de p onde p é alcançado através de um processo em que houve uma decisão contingente feita na seleção do teste que produziu esse p ? A resposta é incognoscível (ou pelo menos quase incognoscível). Ao tomar a decisão de executar o teste ou não com base em algum outro processo probabilístico, você tornou a interpretação do seu resultado ainda mais complicada. $p$$H_0$$p$$p$$p$$p$$p$

Por exemplo, as pessoas geralmente escolhem usar um teste não paramétrico quando algum outro teste sugere que os resíduos não são normalmente distribuídos. Essa abordagem parece bastante aceita, mas não parece concordar com a primeira frase deste parágrafo. Eu só esperava obter esclarecimentos sobre esse assunto.

Sim, muitas pessoas fazem esse tipo de coisa e mudam seu segundo teste para um que possa lidar com a heterocedasticidade quando rejeitam a igualdade de variância, e assim por diante.

Só porque algo é comum, não significa que seja necessariamente sábio.

De fato, em alguns lugares (não vou citar as disciplinas com as piores ofensas), grande parte desse teste formal de hipóteses contingente a outros testes formais de hipóteses é realmente ensinada.

O problema de fazer isso é que seus procedimentos não têm suas propriedades nominais, às vezes nem chegam perto. (Por outro lado, assumir coisas assim sem nenhuma consideração por violação potencialmente extrema pode ser ainda pior.)

Vários artigos sugerem que, para o caso heterocedástico, é melhor você simplesmente agir como se as variações não fossem iguais do que testá-lo e fazer apenas algo a respeito da rejeição.

No caso da normalidade, é menos claro. Em amostras grandes, pelo menos, em muitos casos, a normalidade não é tão crucial (mas ironicamente, com amostras grandes, é mais provável que seu teste de normalidade seja rejeitado), desde que a não normalidade não seja muito selvagem. Uma exceção é para intervalos de previsão, nos quais você realmente precisa que sua suposição distributiva esteja próxima da direita.

Em parte, um problema é que os testes de hipóteses respondem a uma pergunta diferente daquela que precisa ser respondida. Você realmente não precisa saber 'os dados são realmente normais' (quase sempre, não será exatamente normal a priori ). A questão é bastante "até que ponto a extensão da não normalidade afetará minha inferência".

A segunda questão geralmente é praticamente independente do tamanho da amostra ou, na verdade, melhora com o aumento do tamanho da amostra - ainda que os testes de hipóteses quase sempre rejeitem em tamanhos grandes de amostra.

Existem muitas situações em que existem procedimentos robustos ou mesmo livres de distribuição, que são muito próximos da eficiência total, mesmo no normal (e potencialmente muito mais eficiente em algumas partidas bastante modestas) - em muitos casos, parece bobagem não aceitar o mesma abordagem prudente.

Os principais problemas foram bem explicados por outros, mas são confundidos com fatores subjacentes ou associados.

1. Reverência excessiva por valores-P, no máximo um tipo de evidência em estatística.

2. Relutância em ver que os relatórios estatísticos se baseiam inevitavelmente em uma combinação de escolhas, algumas firmemente baseadas em evidências, outras baseadas em uma mistura de análises anteriores, intuição, adivinhação, julgamento, teoria, etc.

Suponha que eu e meu amigo cauteloso Test Tudo escolhamos uma transformação de log para uma resposta, mas chego a essa conclusão com base em uma mistura de raciocínio físico e experiência anterior com dados, enquanto Test Everything escolhe a escala de log com base nos testes e estimativas Box-Cox de um parâmetro.

Agora nós dois usamos a mesma regressão múltipla. Nossos valores-P têm interpretações diferentes? Em uma interpretação, os valores P de Test Everything estão condicionados às inferências anteriores. Também usei inferências, mas a maioria era informal, com base em uma longa série de gráficos, cálculos etc. em projetos anteriores. Como isso deve ser relatado?

Naturalmente, os resultados da regressão são exatamente os mesmos para Testar tudo e eu.

A mesma mistura de conselhos sensatos e filosofia dúbia se aplica à escolha de preditores e forma funcional. Os economistas, por exemplo, são amplamente ensinados a respeitar as discussões teóricas anteriores e a ter cuidado com a invasão de dados, com boas razões para cada caso. Mas, nos casos mais fracos, a teoria em questão é apenas uma sugestão tentativa feita anteriormente na literatura, muito provavelmente após algumas análises empíricas. Porém, referências bibliográficas santificam, embora muitos dos autores aprendam com os dados em mãos.