Como testar a significância estatística da variável categórica na regressão linear?

Se em uma regressão linear eu tenho variável categórica ... como eu sei a significância estatística da variável categórica?

Digamos que o fator tenha 10 níveis ... haverá 10 valores t resultantes diferentes, sob a égide de uma variável fator ... $X_1$ $X_1$

Parece-me que a significância estatística é testada para cada nível da variável fator? Não?

@ Macro: Seguindo sua sugestão, criei o seguinte exemplo:

Parece que x3 é útil e deve ser incluído no modelo, na comparação abaixo.

Mas na verdade isso está errado ...

n=100    
x1=1:n
x2=(1:n)^2 
x3=rnorm(n)
ee=rnorm(n)
y=3*x1-2*x2+x3+3+ee
lm1=lm(y~x1+x2+x3)
summary(lm1)

lm2=lm(y~x1+x2) 
summary(lm2)

anova(lm1, lm2)

> anova(lm1, lm2)
Analysis of Variance Table

Model 1: y ~ x1 + x2 + x3
Model 2: y ~ x1 + x2
  Res.Df     RSS Df Sum of Sq      F    Pr(>F)    
1     96  82.782                                  
2     97 146.773 -1    -63.99 74.207 1.401e-13 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

regression statistical-significance categorical-data

— Luna
fonte

@ Luna, por que isso está errado? Parece que você usou x3para gerar os ys; portanto, ele deve ser incluído no modelo e o valor- concorda com essa conclusão.

p

$p$

— Macro

@ Set - você está certo. Eu estava apenas dando um exemplo de brinquedo usando anova geralmente na comparação de modelos. Portanto, não está vinculado à minha pergunta original.

— Luna

@ Macro - você está certo. Agora entendo o ponto. Obrigado!

— Luna

A função 'Anova' do pacote R 'car' ( pdf ) permite testar a significância geral de uma variável categórica. Ele funciona com muitos pacotes e tipos de regressão diferentes.

— SK4ndal

Você está certo de que esses valores informam apenas se a média de cada nível é significativamente diferente da média do nível de referência. Portanto, eles apenas informam sobre as diferenças entre pares entre os níveis. Testar se o preditor categórico, como um todo, é significativo é equivalente a testar se existe alguma heterogeneidade nas médias dos níveis do preditor. Quando não há outros preditores no modelo, este é um problema clássico de ANOVA . $p$

Quando existem outros preditores no modelo. você tem duas opções para testar a importância de um preditor categórico:

(1) O teste da razão de probabilidade: Suponha que tem um resultado , preditores quantitativos e o preditor categórico com níveis . O modelo sem o preditor categórico é $Y_i$ $X_{i1}, ..., X_{ip}$ $C_i$ $k$

Y_{i} = β_{0} + β_{1} X_{i 1} + . . . + β_{p} X_{i p} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_{i1} + ... + \beta_p X_{ip} + \varepsilon_i$

Em Rvocê pode ajustar este modelo com o lm()comando e extrair a probabilidade de log com o logLikcomando. Chame essa probabilidade de log . Em seguida, você pode ajustar o modelo ao preditor categórico: $L_0$

Y_{i} = β_{0} + β_{1} X_{i 1} + . . . + β_{p} X_{i p} + \sum_{j = 1}^{k - 1} α_{j} B_{j} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_{i1} + ... + \beta_p X_{ip} + \sum_{j=1}^{k-1} \alpha_j B_j + \varepsilon_i$

onde é uma variável dummy que é se e caso contrário. O nível 'é o nível de referência, e é por isso que existem apenas termos na soma. fará automaticamente essa codificação fictícia para você se você passar a variável categórica para . Você pode ajustar esse modelo da mesma forma e extrair a probabilidade do log como acima. Chame essa probabilidade de log . Em seguida, sob a hipótese nula de que tem nenhum efeito, $B_j$ $1$ $D_i = j$ $0$ $k$ $k-1$ Rlm() $L_1$ $D_i$

λ = 2 (L_{1} - L_{0})

$\lambda = 2 \left( L_1 - L_0 \right )$

tem uma distribuição com graus de liberdade. Assim, você pode calcular o -valor usando no para teste de significância. $\chi^2$ $k-1$ $p$ 1-pchisq(2*(L1-L0),df=k-1)R

(2) Teste- : $F$ Sem entrar em detalhes (que são semelhantes ao LRT, exceto que somas de quadrados são usadas em vez de probabilidade de log), explicarei como fazer isso R. Se você ajustar o modelo "completo" (ou seja, o modelo com todos os preditores, incluindo o preditivo categórico) ao Rusar o lm()comando (chame isso g1) e o modelo sem o preditor categórico (chame isso g0), anova(g1,g0)testará esta hipótese para você também.

$F$

— Macro
fonte

Muito obrigado Macro. Descobri que meus dados não são normais. O gráfico QQ é o seguinte: a curva está toda abaixo da linha reta de 45 graus. A curva é tangente a essa linha reta. E a curva se parece com a curva de f (x) = - x ^ 2 (em termos de forma). Que tipo de problema estou enfrentando? E como devo corrigir isso? Obrigado!

— Luna

@ Luna, Seus dados são altamente não normais ou os resíduos são altamente não normais? Além disso, acho que não é possível que todo o conjunto de pontos fique abaixo da linha de 45 graus.

— Macro

Ah, na verdade, você está certo ... Acabei de dar mais uma olhada no gráfico QQ. Não é todo o conjunto de pontos que está abaixo da linha de 45 graus. É a curva com a forma de f (x) = - x ^ 2 é "tangente" à linha de 45 graus. Por "tangente", eu deveria ter entendido que aqueles pontos ao redor do ponto "tangente" estão realmente acima da linha de 45 graus, embora muito ligeiramente. Portanto, visualmente, a maioria dos dados (~ 98%) está abaixo da linha de 45 graus ... o que devo fazer primeiro para corrigir esse problema antes de fazer a comparação do modelo? Obrigado!

— Luna

p

$p$

@ Druss2k, sim, está correto.

— Macro