Consequências de exceder o tamanho da amostra após a determinação da amostra na análise de potência

Desafio

Em nosso escritório, participei de uma discussão sobre o tamanho da amostra e sua influência no tamanho do efeito - você pode me ajudar e explicar mais?

Base

Ao realizar uma análise de energia, pode-se determinar o tamanho da amostra para um tamanho de efeito específico em um design específico.

Problema / Discussão

O que acontece se o tamanho da amostra determinado a priori for excedido (por exemplo, a amostra determinada na análise de potência foi $N=100$ , mas podemos obter )? $N=1000$

Posição 1: tamanhos grandes de amostras cortam / destroem tamanhos de efeito. Ao usar amostras maiores do que as determinadas na análise de potência, ocorre o perigo de "tudo se tornar significativo" (mesmo efeitos menores e praticamente irrelevantes). Portanto, devemos confiar em amostras determinadas da análise de potência. Fazendo isso, podemos revelar efeitos "reais / relevantes".

Posição 2: A determinação do tamanho da amostra refere-se aotamanho mínimo da amostra necessário para revelar um determinado efeito. Amostras grandes são benéficas, por exemplo, devido à diminuição do erro de medição. Portanto, efeitos reais podem ser revelados mais facilmente. Cálculos post-hoc de tamanho de efeito oferecem informações sobre a relevância do efeito.

Posição 3: A posição 1 versus a posição 2 dependem do desenho do estudo (por exemplo, posição 1 para o teste t devido à busca por "efeitos relevantes", mas posição 2 para CFA / SEM para obter resultados mais estáveis e confiáveis).

Posição 4: Outra posição possível para uma explicação alternativa.

— Jens
fonte

ocorre o perigo de que "tudo se torne significativo" (mesmo efeitos menores e praticamente irrelevantes).

Este não é um argumento contra grandes tamanhos de amostra, é um argumento direto contra o teste de hipóteses para o seu problema específico.

Se você tiver problemas para rejeitar tamanhos de efeitos pequenos , não use testes de hipóteses comuns .

Pode ser que você precise de um teste de equivalência (ou talvez um teste de não inferioridade).

Pode ser que você precise de uma estimativa de intervalo do tamanho do efeito (ou seja, um intervalo de confiança).

Pode ser que você precise de outra coisa.

Isso também se refere à posição 3. Se você tem uma noção de "efeito relevante" , não deve usar testes de hipótese comuns .

Se sua posição não é a de que mais energia é melhor, pare de usar esses testes de hipótese . Não é a ferramenta correta para esse trabalho.

— Glen_b -Reinstate Monica
fonte

Testes de equivalência ... Preciso obter mais informações sobre isso. Faz muito sentido ...

— Antoni Parellada

Quais são algumas boas fontes para aprender sobre testes de equivalência? Não encontrei muito online.

— Clarinetist

Minha empresa foi abordada por outra empresa solicitando feedback sobre um projeto de estudo proposto. Eles tentaram usar um teste frente e verso no formato para mostrar que não havia diferença em significa. Quando indiquei a eles em duas ocasiões distintas por que isso estava flagrantemente errado, e mostrei a eles que a agência reguladora que supervisionava sua conduta estava ciente dessa falha, eles me ignoraram .

H_{0 0} : μ_{1} - μ_{2} = 0 0 vs. H_{uma} : μ_{1} - μ_{2} \neq 0 0

$H_0 : \mu_1 - \mu_2 = 0 \quad \text{vs.} \quad H_a : \mu_1 - \mu_2 \ne 0$

— heropup

Para fazer reivindicações de equivalência , então, a estrutura do teste de hipóteses poderia ser (para testar diferenças nas médias) onde é uma margem de equivalência considerada como um padrão de similaridade aceitável. Note que não podemos simplesmente mudar e . Deixo como um exercício para o leitor descobrir o porquê.

H_{0 0} : | μ_{1} - μ_{2} | \geq Δ vs. H_{uma} : | μ_{1} - μ_{2} | < Δ,

$H_0 : |\mu_1 - \mu_2| \ge \Delta \quad \text{vs.} \quad H_a : |\mu_1 - \mu_2| < \Delta,$

Δ

$\Delta$

H_{0}

$H_0$

H_{a}

$H_a$

— heropup

@Glen_b, você poderia mencionar algumas referências para saber mais sobre testes de equivalência? No entanto, só encontrei alguns papéis.

— Jens