Se tenho muitos resultados positivos e insignificantes, posso testar "pelo menos destes resultados são positivos"?


9

Digamos que eu executei a mesma regressão para 100 indivíduos diferentes separadamente. Meus coeficientes de interesse são positivos (e bastante diferentes um do outro), mas estatisticamente insignificantes em todos os 100 resultados (digamos que todo valor-p = 0,11).

Existe uma maneira de combinar esses valores de p para concluir "pelo menos 80 desses resultados são positivos" com maior significância que p = 0,11? Minhas pesquisas on-line só me mostraram como dizer "pelo menos 1 desses resultados é positivo" por meio de um teste de Fisher ou similar, mas não consegui generalizar esse resultado. Quero testar "H0 = todos os 100 efeitos são iguais em 0" contra "HA = pelo menos 80 efeitos são positivos".

Meu objetivo não é dizer que, em média, existe um coeficiente positivo, nem medir especificamente o coeficiente. Meu objetivo é demonstrar, com significância, que pelo menos 80 pessoas enfrentaram individualmente algum efeito positivo, independentemente de quais 80, e independentemente da magnitude do efeito sentido por cada indivíduo.


2
O que você quer dizer com "executando a mesma regressão para 100 indivíduos separadamente"? - isso significa que você possui 100 conjuntos de dados, cada um com várias observações no mesmo conjunto de variáveis ​​de resposta e variáveis ​​explicativas? Não sabe ao certo como isso funciona, por exemplo, se você está interessado em comparar a altura e o peso das pessoas, você tem apenas uma observação para cada pessoa. Como ajustar uma regressão? Talvez você tenha uma série temporal para cada indivíduo - nesse caso, você precisará de técnicas mais sofisticadas. Isso seria uma forma de análise longitudinal, se você estiver procurando por termos de pesquisa.
31813 Peter Ellis

Respostas:


8

Você deve executar todas as 100 análises como um único modelo de efeitos mistos, com seus próprios coeficientes de interesse variáveis ​​aleatórias. Dessa forma, você pode estimar uma distribuição para esses coeficientes, incluindo sua média geral, o que fornecerá o tipo de interpretação que acho que você está procurando.

Observando que, se, como suspeito, for o caso, você tiver uma série temporal para cada indivíduo, também precisará corrigir a autocorrelação dos resíduos.


Obrigado pelo seu tempo, muito apreciado. Se posso esclarecer, é uma série temporal. Digamos que tenho dados para todos os 100 indivíduos acima de 5 anos e, no terceiro ano, uma variável dummy (a variável independente em que estou interessado) muda para 1 ao mesmo tempo para todos os 100 indivíduos. Não me importo com o efeito preciso dessa mudança em cada pessoa ou com o efeito médio. Em vez disso, quero apenas estabelecer que pelo menos 80 pessoas foram afetadas. O coeficiente é positivo em todos os 100, mas cada um é insignificante. Não tenho certeza se medir a distribuição do coeficiente conseguirá isso.
user28239

11
Foi o que imaginei que você tivesse. Eu acho que minha abordagem recomendada é a correta. Você pode usar o modelo para fazer previsões ou qualquer outra coisa interpretativa que desejar.
22813 Peter Ellis

4

A coisa mais simples a fazer provavelmente seria um teste de sinal. A hipótese nula é que cada resultado tem igual probabilidade de ser positivo ou negativo (como jogar uma moeda justa). Seu objetivo é determinar se os resultados observados seriam improváveis ​​o suficiente sob essa hipótese nula para que você possa rejeitá-los.

Qual é a probabilidade de obter 80 ou mais cabeças de 100 jogadas de uma moeda justa? Você pode calcular isso usando a distribuição binomial. Em R, a função relevante é chamada pbinome você pode obter um valor p (unilateral) usando a seguinte linha de código:

pbinom(80, size = 100, prob = 0.5, lower.tail = FALSE)

De acordo com este teste, sua intuição está correta; é improvável que você obtenha 80 resultados positivos por acaso se o tratamento não tiver efeito.

Uma opção intimamente relacionada seria usar algo como o teste de classificação assinado por Wilcoxon .


Uma abordagem melhor , se você realmente deseja estimar o tamanho do efeito (em vez de apenas determinar se ele tende a ser maior que zero ou não), provavelmente seria um modelo hierárquico ("misto").

Aqui, o modelo diz que os resultados de 100 indivíduos vêm de uma distribuição, e seu objetivo é ver onde está a média dessa distribuição (junto com os intervalos de confiança).

Modelos mistos permitem que você fale um pouco mais sobre o tamanho dos seus efeitos: depois de ajustar o modelo, você pode dizer algo como "estimamos que nosso tratamento tende a melhorar os resultados em uma média de três unidades, embora os dados sejam consistentes com a média real tamanho do efeito variando de 1,5 a 4,5 unidades. Além disso, há alguma variação entre os indivíduos; portanto, uma determinada pessoa pode ver um efeito entre -0,5 e +6,5 unidades ".

Esse é um conjunto de declarações muito preciso e útil - muito melhor do que apenas "o efeito provavelmente é positivo, em média", razão pela qual essa abordagem tende a ser favorecida pelos estatísticos. Mas se você não precisar de todos esses detalhes, a primeira abordagem que eu mencionei também pode ser boa.


0

Talvez eu entenda isso completamente errado, mas o que me parece é que você está tentando fazer ANOVA de medidas repetidas. Apenas defina esse "manequim" como um fator dentro do assunto e o modelo fará o resto. O significado em si não é muito informativo; é necessário, mas não suficiente; qualquer modelo seria significativo com um número suficientemente grande de observações. convém obter o tamanho dos efeitos, como o Eta-Squared (parcial), para ter uma idéia de quão "grande" é o seu efeito. Meus 2 centavos.


0

Pode ser tão simples quanto um cálculo ANCOVA comum, mas a maneira apropriada de analisar seus dados dependeria da situação física e você não forneceu esses detalhes.

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.