Contrastes polinomiais para regressão

Não consigo entender o uso de contrastes polinomiais no ajuste de regressão. Refiro-me, em particular, a uma codificação usada Rpara expressar uma variável de intervalo (variável ordinal com níveis igualmente espaçados), descrita nesta página .

No exemplo dessa página , se eu entendi corretamente, R ajusta um modelo para uma variável de intervalo, retornando alguns coeficientes que ponderam sua tendência linear, quadrática ou cúbica. Portanto, o modelo ajustado deve ser:

w r i t e = 52.7870 + 14.2587 X - 0.9680 X^{2} - 0.1554 X^{3},

${\rm write} = 52.7870 + 14.2587X - 0.9680X^2 - 0.1554X^3,$

onde deve assumir os valores , , ou acordo com o nível diferente da variável de intervalo. $X$ $1$ $2$ $3$ $4$

Isso está correto? E, se sim, qual era o objetivo dos contrastes polinomiais?

r regression contrasts

— Pippo
fonte

Não, esses coeficientes são para os termos polinomiais ortogonais : você escreveu o modelo para termos polinomiais brutos . Substitua , e pelos valores de , e respectivamente (na tabela de consulta).

X

$X$

X^{2}

$X^2$

X^{3}

$X^3$

L

$L$

Q

$Q$

C

$C$

— Scortchi - Restabelecer Monica

Caro @ Scortchi, obrigado pela sua resposta. Acho que entendi o que você quis dizer, mas não entendi honestamente como esses termos polinomiais ortogonais funcionam. : P

— Pippo

Como uma questão notacional, o que você tem não é exatamente o modelo adequado. Você precisa de um 'chapéu' gigante sobre a gravação (ou E [gravação]), que significa o valor previsto da gravação ou o valor esperado da gravação; ou você precisa de um '+ e' no final para indicar os resíduos.

— gung - Restabelece Monica

@ Scortchi O que é ou como você pode encontrar a "tabela de consulta"?

— Antoni Parellada

@AntoniParellada: É a tabela na página ao qual o OP está vinculado: ats.ucla.edu/stat/r/library/contrast_coding.htm#ORTHOGONAL . e consegui com contr.polyR.

— Scortchi - Reinstate Monica

Apenas para recapitular (e caso os hiperlinks do OP falhem no futuro), estamos analisando um conjunto de dados da seguinte hsb2forma:

   id     female race ses schtyp prog read write math science socst
1  70        0    4   1      1    1   57    52   41      47    57
2 121        1    4   2      1    3   68    59   53      63    61
...
199 118      1    4   2      1    1   55    62   58      58    61
200 137      1    4   3      1    2   63    65   65      53    61

que pode ser importado aqui .

Transformamos a variável readem e variável ordenada / ordinal:

hsb2$readcat<-cut(hsb2$read, 4, ordered = TRUE)
(means = tapply(hsb2$write, hsb2$readcat, mean))
 (28,40]  (40,52]  (52,64]  (64,76] 
42.77273 49.97849 56.56364 61.83333

Agora estamos todos prontos para executar uma ANOVA regular - sim, é R, e basicamente temos uma variável dependente contínua writee uma variável explicativa com vários níveis readcat. Em R podemos usarlm(write ~ readcat, hsb2)

1. Gerando a matriz de contraste:

Existem quatro níveis diferentes para a variável ordenada readcat, portanto, teremos contrastes. $n-1=3$

table(hsb2$readcat)

(28,40] (40,52] (52,64] (64,76] 
     22      93      55      30

Primeiro, vamos pelo dinheiro e dê uma olhada na função R embutida:

contr.poly(4)
             .L   .Q         .C
[1,] -0.6708204  0.5 -0.2236068
[2,] -0.2236068 -0.5  0.6708204
[3,]  0.2236068 -0.5 -0.6708204
[4,]  0.6708204  0.5  0.2236068

Agora vamos dissecar o que aconteceu embaixo do capô:

scores = 1:4  # 1 2 3 4 These are the four levels of the explanatory variable.
y = scores - mean(scores) # scores - 2.5

$y = \small [-1.5, -0.5, 0.5, 1.5]$

$\small \text{seq_len(n) - 1} = [0, 1, 2, 3]$

n = 4; X <- outer(y, seq_len(n) - 1, "^") # n = 4 in this case

$\small\begin{bmatrix} 1&-1.5&2.25&-3.375\\1&-0.5&0.25&-0.125\\1&0.5&0.25&0.125\\1&1.5&2.25&3.375 \end{bmatrix}$

O que aconteceu lá? o outer(a, b, "^")eleva os elementos de apara os elementos de b, de modo que a primeira coluna resulta das operações, , , e ; a segunda coluna de , , e ; o terceiro de $\small(-1.5)^0$ $\small(-0.5)^0$ $\small 0.5^0$ $\small 1.5^0$ $\small(-1.5)^1$ $\small(-0.5)^1$ $\small0.5^1$ $\small1.5^1$ $\small(-1.5)^2=2.25$ , , e ; e o quarto, , , e . $\small(-0.5)^2 = 0.25$ $\small0.5^2 = 0.25$ $\small1.5^2 = 2.25$ $\small(-1.5)^3=-3.375$ $\small(-0.5)^3=-0.125$ $\small0.5^3=0.125$ $\small1.5^3=3.375$

Em seguida, fazer um decomposição orthonormal desta matriz e tomar a representação compacta de Q ( ). Alguns dos trabalhos internos das funções usadas na fatoração QR em R usados neste post são mais explicados aqui . $QR$ c_Q = qr(X)$qr

$\small\begin{bmatrix} -2&0&-2.5&0\\0.5&-2.236&0&-4.584\\0.5&0.447&2&0\\0.5&0.894&-0.9296&-1.342 \end{bmatrix}$

... dos quais salvamos apenas a diagonal ( z = c_Q * (row(c_Q) == col(c_Q))). O que se encontra na diagonal: Apenas o "fundo" entradas do parte do decomposição. Somente? bem, não ... Acontece que a diagonal de uma matriz triangular superior contém os autovalores da matriz! $\bf R$ $QR$

A seguir, chamamos a seguinte função:, raw = qr.qy(qr(X), z)cujo resultado pode ser replicado "manualmente" por duas operações: 1. Transformando a forma compacta de , isto é , em , uma transformação que pode ser alcançada com , e 2. Executando o multiplicação de matrizes , como em . $Q$ qr(X)$qr $Q$ Q = qr.Q(qr(X)) $Qz$ Q %*% z

Fundamentalmente, a multiplicação de pelos autovalores de não altera a ortogonalidade dos vetores da coluna constituinte, mas dado que o valor absoluto dos autovalores aparece em ordem decrescente do canto superior esquerdo para o inferior direito, a multiplicação de tenderá a diminuir a valores nas colunas polinomiais de ordem superior: $\bf Q$ $\bf R$ $Qz$

Matrix of Eigenvalues of R
     [,1]      [,2] [,3]      [,4]
[1,]   -2  0.000000    0  0.000000
[2,]    0 -2.236068    0  0.000000
[3,]    0  0.000000    2  0.000000
[4,]    0  0.000000    0 -1.341641

Comparar os valores nos vectores de coluna posteriores (quadráticos e cúbicos) antes e após as operações fatoração, e para as não afectadas duas primeiras colunas. $QR$

Before QR factorization operations (orthogonal col. vec.)
     [,1] [,2] [,3]   [,4]
[1,]    1 -1.5 2.25 -3.375
[2,]    1 -0.5 0.25 -0.125
[3,]    1  0.5 0.25  0.125
[4,]    1  1.5 2.25  3.375


After QR operations (equally orthogonal col. vec.)
     [,1] [,2] [,3]   [,4]
[1,]    1 -1.5    1 -0.295
[2,]    1 -0.5   -1  0.885
[3,]    1  0.5   -1 -0.885
[4,]    1  1.5    1  0.295

Finalmente, chamamos (Z <- sweep(raw, 2L, apply(raw, 2L, function(x) sqrt(sum(x^2))), "/", check.margin = FALSE))transformar a matriz rawem vetores ortonormais :

Orthonormal vectors (orthonormal basis of R^4)
     [,1]       [,2] [,3]       [,4]
[1,]  0.5 -0.6708204  0.5 -0.2236068
[2,]  0.5 -0.2236068 -0.5  0.6708204
[3,]  0.5  0.2236068 -0.5 -0.6708204
[4,]  0.5  0.6708204  0.5  0.2236068

"/" $\small\sqrt{\sum_\text{col.} x_i^2}$ $(\text{i})$ apply(raw, 2, function(x)sqrt(sum(x^2)))2 2.236 2 1.341 $(\text{ii})$ $(\text{i})$

$\mathbb{R}^4$ contr.poly(4)

$\small\begin{bmatrix} -0.6708204&0.5&-0.2236068\\-0.2236068&-0.5&0.6708204\\0.2236068&-0.5&-0.6708204\\0.6708204&0.5&0.2236068 \end{bmatrix}$

(sum(Z[,3]^2))^(1/4) = 1z[,3]%*%z[,4] = 0 $\text{scores - mean}$ $1$ $2$ $3$

2. Quais contrastes (colunas) contribuem significativamente para explicar as diferenças entre os níveis na variável explicativa?

Podemos apenas executar a ANOVA e olhar o resumo ...

summary(lm(write ~ readcat, hsb2))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  52.7870     0.6339  83.268   <2e-16 ***
readcat.L    14.2587     1.4841   9.607   <2e-16 ***
readcat.Q    -0.9680     1.2679  -0.764    0.446    
readcat.C    -0.1554     1.0062  -0.154    0.877

... ver que existe um efeito linear de readcaton write, para que os valores originais (no terceiro pedaço de código no início do post) possam ser reproduzidos como:

coeff = coefficients(lm(write ~ readcat, hsb2))
C = contr.poly(4)
(recovered = c(coeff %*% c(1, C[1,]),
               coeff %*% c(1, C[2,]),
               coeff %*% c(1, C[3,]),
               coeff %*% c(1, C[4,])))
[1] 42.77273 49.97849 56.56364 61.83333

... ou ...

... ou muito melhor ...

$\displaystyle \sum_{i=1}^t a_i = 0$ $a_1,\cdots,a_t$

$X^0, X^1, \cdots. X^n$

Graficamente, isso é muito mais fácil de entender. Compare as médias reais por grupos em grandes blocos quadrados pretos com os valores estimados e veja por que uma aproximação de linha reta com contribuição mínima de polinômios quadráticos e cúbicos (com curvas apenas aproximadas com loess) é ideal:

Se, apenas por efeito, os coeficientes da ANOVA tivessem sido tão grandes para o contraste linear para as outras aproximações (quadráticas e cúbicas), o gráfico sem sentido a seguir retrataria mais claramente os gráficos polinomiais de cada "contribuição":

O código está aqui .

— Antoni Parellada
fonte

+1 Uau. Essa resposta (ainda não a li até o final) pode ser vista como uma resposta à minha pergunta antiga e esquecida stats.stackexchange.com/q/63639/3277 ?

— ttnphns

(+1) @ttnphns: Provavelmente se encaixaria ainda melhor lá.

— Scortchi - Restabelece Monica

Apenas uma dica: você pode me comentar lá com um link para aqui; ou emitir uma resposta lá - o que provavelmente aceito.

— precisa saber é

@ttnphns e @Scortchi Obrigado! Passei bastante tempo tentando entender esses conceitos e não esperava muita reação. Portanto, é uma surpresa muito positiva. Eu acho que existem algumas rugas a serem resolvidas no que diz respeito à explicação da qr.qy()função, mas definitivamente tentarei ver se consigo dizer algo minimamente coerente sobre sua pergunta assim que tiver algum tempo.

— Antoni Parellada

@ Elvis Tentei escolher uma boa frase de resumo e colocá-la em algum lugar do post. Penso que este é um bom argumento e exige uma boa explicação matemática, mas pode ser demais neste momento para aprofundar.

— Antoni Parellada 16/04

Vou usar o seu exemplo para explicar como funciona. O uso de contrastes polinomiais com quatro grupos gera os seguintes.

\begin{aligned} E W r Eu t e_{1} & = μ - 0,67 eu + 0,5 Q - 0,22 C \\ E W r Eu t e_{2} & = μ - 0,22 eu - 0,5 Q + 0,67 C \\ E W r Eu t e_{3} & = μ + 0,22 eu - 0,5 Q - 0,67 C \\ E W r Eu t e_{4} & = μ + 0,67 eu + 0,5 Q + 0,22 C \end{aligned}

$\begin{align} E\,write_1 &= \mu -0.67L + 0.5Q -0.22C\\ E\,write_2 &= \mu -0.22L -0.5Q + 0.67C\\ E\,write_3 &= \mu + 0.22L -0.5Q -0.67C\\ E\,write_4 &= \mu + 0.67L + 0.5Q + 0.22C \end{align}$

$read_i$

E W r Eu t e_{Eu} = μ + r e uma d_{Eu} eu + r e uma d_{Eu}^{2} Q + r e uma d_{Eu}^{3} C

$E\,write_i=\mu+read_iL + read_i^2Q+read_i^3C$

$L,Q,C$ $\beta_1, \beta_2, \beta_3$ $L, Q, C$ $read_i, read_i^2, read_i^3$ $L$ $Q$ $C$

$\mu, L,Q,C$

\hat{μ} = 52,79, \hat{eu} = 14,26, \hat{Q} = - 0,97, \hat{C} = - 0,16

$\widehat{\mu}=52.79, \widehat{L}=14.26, \widehat{Q}=−0.97, \widehat{C}=−0.16$

\hat{μ} = \frac{1}{4} \sum_{i = 1}^{4} E w r i t e_{i}

$\widehat{\mu}=\frac{1}{4}\sum_{i=1}^4E\,write_i$

\hat{μ}, \hat{L}, \hat{Q}, \hat{C}

$\widehat{\mu}, \widehat{L}, \widehat{Q}, \widehat{C}$

$\widehat{L}$

— Fimba
fonte