Como interpretar e relatar eta ao quadrado / eta ao quadrado parcial em análises estatisticamente significativas e não significativas?

Eu tenho dados que possuem valores eta ao quadrado e valores eta ao quadrado parciais calculados como uma medida do tamanho do efeito para diferenças de média de grupo.

• Qual é a diferença entre eta squared e parcial eta squared? Ambos podem ser interpretados usando as mesmas diretrizes de Cohen (1988, penso: 0,01 = pequeno, 0,06 = médio, 0,13 = grande)?

• Além disso, há utilidade em relatar o tamanho do efeito se o teste de comparação (ou seja, teste t ou ANOVA unidirecional) não for significativo? Na minha cabeça, é como dizer "a diferença média não alcançou significância estatística, mas ainda é notável porque o tamanho do efeito indicado no quadrado é médio". Ou, o tamanho do efeito é um valor de substituição para testes de significância, em vez de complementar?

Tamanhos de efeito para diferenças médias de grupo

• Em geral, considero as diferenças médias de grupo padronizadas (por exemplo, d de Cohen) uma medida de tamanho de efeito mais significativa no contexto das diferenças de grupo. Medidas como o quadrado eta são influenciadas se os tamanhos das amostras dos grupos são iguais, enquanto o d de Cohen não é. Também acho que o significado de medidas baseadas em d é mais intuitivo quando o que você está tentando quantificar é uma diferença entre as médias de grupo.
• O ponto acima é particularmente forte no caso em que você tem apenas dois grupos (por exemplo, o efeito do tratamento versus controle). Se você tem mais de dois grupos, a situação é um pouco mais complicada. Eu posso ver o argumento para medidas explicadas de variância neste caso. Alternativamente, o Cohen$f^2$ é outra opção.
• Uma terceira opção é que, no contexto dos efeitos experimentais, mesmo quando houver mais de dois grupos, o conceito de efeito é melhor conceituado como uma comparação binária (isto é, o efeito de uma condição em relação a outra). Nesse caso, você pode voltar novamente às medidas baseadas em d. A medida baseada em d não é uma medida de tamanho de efeito para o fator, mas sim de um grupo em relação a um grupo de referência. A chave é definir um grupo de referência significativo.
• Finalmente, é importante lembrar o objetivo mais amplo de incluir medidas de tamanho de efeito. É para dar ao leitor uma noção do tamanho do efeito do interesse. Qualquer medida padronizada de efeito deve ajudar o leitor nessa tarefa. Se a variável dependente estiver em uma escala inerentemente significativa, não deixe de interpretar o tamanho do efeito em termos dessa escala. Por exemplo, escalas como tempo de reação, salário, altura, peso etc. são inerentemente significativas. Se você achar que, como eu, eta ao quadrado é um pouco não intuitivo no contexto de efeitos experimentais, talvez escolha outro índice.

Eta ao quadrado versus eta ao quadrado parcial

• O eta-quadrado parcial é a medida padrão do tamanho do efeito relatada em vários procedimentos ANOVA no SPSS. Suponho que é por isso que frequentemente recebo perguntas sobre isso.
• Se você tiver apenas uma variável preditora, eta ao quadrado parcial é equivalente a eta ao quadrado.
• Este artigo explica a diferença entre eta ao quadrado e eta ao quadrado parcial (Levine e Hullett Eta ao quadrado, Eta ao quadrado parcial .. ).
• Em resumo, se você tiver mais de um preditor, eta ao quadrado parcial é a variação explicada por uma determinada variável da variação restante após excluir a variação explicada por outros preditores.

Regras de ouro para eta ao quadrado e eta ao quadrado parcial

• Se você tiver apenas um preditor, então, eta ao quadrado e eta ao quadrado parcial são os mesmos e, portanto, as mesmas regras práticas seriam aplicadas.
• Se você tem mais de um preditor, acho que as regras gerais para eta ao quadrado se aplicariam mais ao eta ao quadrado parcial do que ao eta ao quadrado. Isso ocorre porque o eta-quadrado parcial na ANOVA fatorial se aproxima mais do que o quadrado seria para o fator se fosse uma ANOVA de mão única; e é presumivelmente uma ANOVA de mão única que deu origem às regras práticas de Cohen. Em geral, a inclusão de outros fatores em um projeto experimental normalmente deve reduzir o eta ao quadrado, mas não necessariamente o eta ao quadrado parcial, devido ao fato de que o segundo fator, se tiver um efeito, aumenta a variabilidade na variável dependente.
• Apesar do que digo sobre regras de ouro para eta ao quadrado e eta ao quadrado parcial, reitero que não sou um fã de variância que explica medidas de tamanho de efeito no contexto da interpretação do tamanho e significado dos efeitos experimentais. Igualmente, as regras práticas são exatamente isso, aproximadas, dependentes do contexto e não devem ser levadas muito a sério.

Tamanho do efeito de relatório no contexto de resultados significativos e não significativos

• Em certo sentido, um objetivo de sua pesquisa é estimar várias estimativas quantitativas dos efeitos de suas variáveis ​​de interesse na população.
• Os tamanhos dos efeitos são uma quantificação de uma estimativa pontual desse efeito. Quanto maior o tamanho da amostra, mais próxima, em geral, a estimativa do ponto de amostra será do verdadeiro efeito populacional.
• Em termos gerais, o teste de significância visa descartar o acaso como uma explicação dos seus resultados. Assim, o valor p indica a probabilidade de observar um tamanho de efeito igual ou mais extremo, assumindo que a hipótese nula era verdadeira.
• Por fim, você deseja excluir nenhum efeito e dizer algo sobre o tamanho do verdadeiro efeito populacional. Intervalos de confiança e intervalos de credibilidade em torno dos tamanhos dos efeitos são duas abordagens que abordam esse problema mais diretamente. No entanto, relatar valores de p e estimativas pontuais do tamanho do efeito é bastante comum e muito melhor do que relatar apenas valores de p ou apenas medidas de tamanho de efeito.
• No que diz respeito à sua pergunta específica, se você tiver resultados não significativos, é sua decisão se deve relatar medidas de tamanho de efeito. Eu acho que se você tem uma tabela com muitos resultados, ter uma coluna de tamanho de efeito usada independentemente da significância faz sentido. Mesmo em contextos não significativos, os tamanhos dos efeitos com intervalos de confiança podem ser informativos para indicar se os achados não significativos podem ser devidos ao tamanho inadequado da amostra.