Post-hocs para testes dentro dos sujeitos?

20

Qual é o método preferido para a realização de post-hocs para testes dentro dos sujeitos? Vi trabalhos publicados nos quais o HSD de Tukey é empregado, mas uma revisão de Keppel e Maxwell & Delaney sugere que a provável violação da esfericidade nesses projetos torna o termo do erro incorreto e essa abordagem problemática. Maxwell e Delaney fornecem uma abordagem para o problema em seu livro, mas nunca vi isso dessa maneira em nenhum pacote de estatísticas. A abordagem que eles oferecem é apropriada? Uma correção de Bonferroni ou Sidak em vários testes t de amostra pareada seria razoável? Uma resposta aceitável fornecerá o código R geral que pode conduzir post-hocs em projetos simples, de várias maneiras e misturados, conforme produzido pela ezANOVAfunção no ezpacote, e citações apropriadas que provavelmente serão passadas pelos revisores.

— russellpierce
fonte

1

Este artigo de David Howell explica os problemas e várias soluções.

— 26410 Harvey Motulsky

como você aceitou a resposta usando o pacote multcomp, você poderia elaborar um pouco sobre como finalmente usou o multcomp. Você usá-lo com o lmeou lmerfunção ou com alguns métodos mais tradicionais como t-test ou ANOVA (como eu estou atualmente tentando usá-lo com ANOVAs).

— 21711 Henrik

Aceitei a resposta multcomp principalmente porque estou completamente insatisfeito com as técnicas de ajuste de valor p que a comunidade selecionou como a resposta "certa". Olhei para ele e parecia promissor, mas não investiguei mais. Eu estaria interessado em saber mais sobre o que você está tentando e o que está descobrindo.

— russellpierce

Encontrei uma maneira de especificar uma ANOVA de medidas repetidas usando lme, consulte os comentários para a resposta aceita: stats.stackexchange.com/q/14088/442 Com um objeto de classe, lmevocê pode usar multcomppara efeitos dentro do assunto. Ele oferece diferentes tipos de ajuste de erro alfa, mas principalmente aqueles de que você não gosta especialmente (como o que eu propus que foi votado como "certo" pela comunidade). Além da vinheta, há também um livro multcompque explica todos os métodos. Se você deseja post-hocs sem ajuste, use fit.contrastfrom gmodelou o novo contrastpacote.

— Henrik

Você ainda está interessado em uma solução para a ezANOVAfunção? Nesse caso, acho que posso responder a essa pergunta, mas a A dependeria de testes para modelos univariados para os quais a esfericidade é uma suposição crítica. Se você não precisa que o A seja restrito aos cálculos ANOVA do ezpacote, eu poderia fornecer um A que usa modelos multivariados para os testes post-hoc.

— statmerkur 24/01

7

Veja o pacote multcomp e sua vinheta Inferência simultânea em modelos paramétricos gerais . Eu acho que deve fazer o que não quer e a vinheta tem bons exemplos e referências extensas.

— Matti Pastell
fonte

21

Atualmente, estou escrevendo um artigo no qual tenho o prazer de realizar comparações entre e dentro dos assuntos. Após discussão com meu supervisor, decidimos executar testes t e usar o bastante simples Holm-Bonferroni method( wikipedia ) para corrigir a acumulação de erro alfa. Ele controla a taxa de erro familiar, mas possui um poder maior que o procedimento comum de Bonferroni. Procedimento:

Você executa os testes t para todas as comparações que deseja fazer.
Você ordena os valores de p de acordo com seu valor.
Você testa o menor valor p contra alfa / k , o segundo menor contra alfa / ( k - 1) e assim por diante até que o primeiro teste seja não significativo nesta sequência de testes.

Cite Holm (1979), que pode ser baixado através do link na wikipedia .

— Henrik
fonte

1

talvez uma ANOVA antes de vários testes?

— stan

2

Eu acho que isso estava implícito na resposta. Você realiza os testes post-hoc após a ANOVA significativa.

— Henrik

2

@ Henrik: Espero não estar batendo um cavalo morto aqui ... postando em um post antigo. Então, eu tenho uma pergunta sobre a maneira como você executou os testes t. Você usou a variação combinada (da ANOVA) ou simplesmente fez testes t pareados independentes? A razão pela qual pergunto isso é porque tentei pairwise.t.test()fazer comparações aos pares usando o método Bonferroni ou o método Holm-Bonf, mas os resultados diferem drasticamente, dependendo se eu uso o sd combinado ou trato cada comparação como um t independente e separado -teste. Obrigado!

— 27413 Alex

2

@ Alex: Usando uma abordagem 'protegida', na qual os testes t são realizados somente após uma ANOVA significativa, implica o uso do termo de erro agrupado. No entanto, como essa não é uma opção frequentemente fornecida pelo software estatístico, as pessoas tendem a não fazê-lo. Além disso, na medida em que a esfericidade é violada, é algo questionável de se fazer em primeiro lugar.

— 22813 russellpierce

5

Lembro-me de alguma discussão sobre isso no passado; Não conheço nenhuma implementação da abordagem de Maxwell & Delaney, embora não deva ser muito difícil de fazer. Dê uma olhada em " Medidas repetidas ANOVA usando R ", que também mostra um método para resolver o problema de esfericidade no HSD de Tukey .

Você também pode encontrar esta descrição do teste de interesse de Friedman .

— Shane
fonte

Obrigado, acho que o teste de Friedman é interessante, mas não consigo entender como está fazendo esse ajuste para o erro Tipo I no post-hoc. Os comentários dizem que é um "teste de Wilcoxon-Nemenyi-McDonald-Thompson", mas nunca ouvi falar disso antes, você poderia explicar?

— russellpierce

@Shane O primeiro link está morto :-(

— Adam Ryczkowski 14/06

2

Existem DUAS opções para os testes F inferenciais no SPSS. O multivariado NÃO assume esfericidade, e, portanto, utiliza uma correlação pareada diferente para cada par de variáveis. Os "testes de efeitos dentro dos sujeitos", incluindo quaisquer testes post hoc, assumem a esfericidade e fazem algumas correções no uso de uma correlação comum em todos os testes. Esses procedimentos são um legado dos dias em que a computação era cara e são uma perda de tempo com as modernas instalações de computação.

Minha recomendação é tomar o omnibus MULTIVARIATE F para quaisquer medidas repetidas. Em seguida, faça o acompanhamento com o teste t post hoc em pares ou ANOVA com apenas 2 níveis em cada comparação de medidas repetidas, se houver também entre os fatores sujeitos. Eu faria a correção bon ferroni simples de dividir o nível alfa pelo número de testes.

Verifique também o tamanho do efeito [disponível no diálogo de opções]. Grandes tamanhos de efeito que são "próximos" a significativos podem ser mais dignos de atenção [e experiências futuras] do que efeitos pequenos, mas significativos.

Uma abordagem mais sofisticada está disponível no procedimento SPSS MIXED e também em pacotes menos amigáveis [mas gratuitos] como o R.

Resumo, no SPSSS, F multivariado seguido de post hocs aos pares com Bon Ferroniwith Bonferroni deve ser suficiente para a maioria das necessidades.

0

Usarei a função R qtukey (1-alfa, significa df) para criar ICs familiares.

$tukey_{0.05,4,16}$

$MS_{Error}$ $\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{{{M}_{j}}-{{\mu }_{j}}}{{{\sigma }_{M}}} \right\}}{S{{E}_{M}}/{{\sigma }_{M}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{\mu }_{{{j}_{1}}}} \right)-\left( {{M}_{{{j}_{2}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ \end{align}$

The radius of family-wise 1-α CIs is $S{{E}_{M}}\times tuke{{y}_{\alpha ,4,16}}=\sqrt{\frac{M{{S}_{Error}}}{5}}\times tuke{{y}_{\alpha ,4,16}}$ because--

\begin{aligned} {T u k e y_{k, d f} \leq t u k e y_{0.05, 4, 16}} \\ = {\frac{M a x_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{S E_{M}} \leq t u k e y_{.05, 4, 16}} \\ = \cap_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) | \leq S E_{M} \times t u k e y_{.05, 4, 16}} \end{aligned}

$\begin{align} & \left\{ Tuke{{y}_{k,df}}\le tuke{{y}_{0.05,4,16}} \right\} \\ & =\left\{ \frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}}\le tuke{{y}_{.05,4,16}} \right\} \\ & ={{\cap }_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right|\le S{{E}_{M}}\times tuke{{y}_{.05,4,16}} \right\} \\ \end{align}$

Given a within-subject design with k=4 levels, 17 sample size e.g. (17-1)=16 df for $MS_{Error}$ , and ${{X}_{i,j}}=\left( {{\mu }_{j}}+{{v}_{i}} \right)+{{\varepsilon }_{i,j}}={{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}}$ , the radius of family-wise (1-α) CIs is $\sqrt{M{{S}_{Error}}/17}\times tuke{{y}_{\alpha ,4,16}}$ because--

\begin{aligned} T u k e y_{k, d f} = \frac{M a x_{j = 1, 2, \dots, k} {z_{j}} - M i n_{j = 1, 2, \dots, k} {z_{j}}}{\sqrt{χ_{d f}^{2} / d f}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {\frac{M e a n_{1 \leq i \leq n} {{\tilde{X}}_{i, j} + ε_{i, j}} - M e a n_{1 \leq i \leq n} {{\tilde{X}}_{i, j}}}{σ_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}}}}{{\hat{σ}}_{M e a n_{1 \leq i \leq n} {ε_{i, j}}} / σ_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {M_{j} - (μ_{j} + M e a n_{1 \leq i \leq n} {v_{i}})}}{{\hat{σ}}_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {M_{j} - μ_{j}}}{\sqrt{M S_{E r r o r} / n}} \\ = \frac{M a x_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{\sqrt{M S_{E r r o r} / n}} \end{aligned}

$\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}} \right\}-Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}} \right\}}{{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}/{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-\left( {{\mu }_{j}}+Mea{{n}_{1\le i\le n}}\left\{ {{v}_{i}} \right\} \right) \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ \end{align}$

— Xiaoxu LI
fonte