Como um vetor de variáveis representa um hiperplano?

Estou lendo Elementos de aprendizagem estatística e na página 12 (seção 2.3) um modelo linear é anotado como:

\hat{Y} = X^{T} \hat{β}

$\widehat{Y} = X^{T} \widehat{\beta}$

... onde é a transposição de um vetor de coluna dos preditores / variáveis independentes / entradas. (Ele afirma anteriormente "todos os vetores são considerados vetores de coluna", portanto isso não tornaria um vetor de linha e um vetor de coluna?) $X^{T}$ $X^{T}$ $\widehat{\beta}$

Incluído em está um " " a ser multiplicado pelo coeficiente correspondente, dando a interceptação (constante). $X$ $1$

Continua dizendo:

No espaço de entrada-saída dimensional , representa um hiperplano. Se a constante estiver incluída em , o hiperplano inclui a origem e é um subespaço; caso contrário, é um conjunto afiado que corta o eixo no ponto . $(p + 1)$ $(X,\ \widehat{Y})$ $X$ $Y$ $(0,\ \widehat{\beta_0})$

" " descreve um vetor formado pela concatenação dos preditores, o intercepto é " " e ? E por que incluir um " " em força o hiperplano a passar pela origem, certamente que " " deve ser multiplicado por ? $(X,\ \widehat{Y})$ $1$ $\widehat{Y}$ $1$ $X$ $1$ $\widehat{\beta_0}$

Estou falhando em entender o livro; qualquer ajuda / conselho / links para recursos seria muito apreciada.

regression references statistical-learning

— Scott
fonte

Pode ajudar a considerar primeiro. Nesse caso, , com a interceptação. Esta é a equação de uma linha que passa por . Extensões para dimensões mais altas são imediatas.

p = 1

$p = 1$

\hat{y} = {\hat{β}}_{0} + x \hat{β}

$\hat{y} = \hat{\beta}_0 + x \hat{\beta}$

β_{0}

$\beta_0$

(0, {\hat{β}}_{0})

$(0, \hat{\beta}_0)$

— Ocram 29/03

Se a ajuda do @ocram não for suficiente, tente escrever os vetores e fazer a multiplicação.

— Peter Flom - Restabelece Monica

Aqui está uma boa apresentação gráfica: blog.stata.com/2011/03/03/… . A notação é diferente: A existe o seu X e x é .

\hat{β}

$\hat \beta$

— Dimitriy V. Masterov

O livro está errado, ou pelo menos é inconsistente. Evidentemente, existem variáveis não incluem a constante. Portanto, o conjunto é realmente um hiperplano, mas é incorreto dizer que a constante está "incluída em ". Em vez disso eu acho que o livro destina-se a dizer que a constante é incluída na regressão , mas ainda não deve ser considerado parte de . Portanto, o modelo realmente deve ser escrito onde . Definir imediatamente fornece a afirmação sobre a interceptação.

p

$p$

{(X, \hat{Y}) | X \in R^{p}}

$\{(X,\hat{Y})|X\in\mathbb{R}^p\}$

X

$X$

X

$X$

\hat{Y} = {\hat{β}}_{0} + X^{'} \hat{β}

$\hat{Y}=\hat\beta_0 + X'\hat\beta$

β = (β_{1}, β_{2}, \dots, β_{p})^{'}

$\beta=(\beta_1,\beta_2,\ldots,\beta_p)'$

X = 0

$X=0$

— whuber

(Se, em vez disso, incluímos a constante em , não podemos permitir que varie livremente sobre todos os : ele é restrito a ficar dentro de um subespaço dimensional . O gráfico , em seguida, tem codimensão pelo menos e por isso não é realmente a) "hiperplano."

X

$X$

X

$X$

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

{(X, \hat{Y})}

$\{(X,\hat Y)\}$

2

$2$

— whuber

Respostas:

Seja o número de observações e o número de variáveis explicativas. $N$ $K$

$X$ é realmente uma matrizSomente quando olhamos para uma única observação, denotamos cada observação geralmente como - um vetor de linha de variáveis explicativas de um escalar de observação específico multiplicado pelo vetor coluna . Além disso, é um vetor de coluna , contendo todas as observações . $N\!\times\!K$ $x_i^T$ $K\!\times\!1$ $\beta$ $Y$ $N\!\times\!1$ $Y_n$

Agora, um hiperplana bidimensional que abrangem entre o vector e um (!) De vector de coluna . Lembre-se que é um matriz, de modo que cada variável explicativa é representada por exatamente um vector da matriz coluna . Se tiver apenas uma variável explicativo, sem interceptar e , todos os pontos de dados estão situados ao longo do plano dimensional 2 gerado por e . $Y$ $X$ $X$ $N\!\times\!K$ $X$ $Y$ $Y$ $X$

Para uma regressão múltipla, quantas dimensões no total o hiperplano entre e a matriz possui? Resposta: Como temos vetores de coluna de variáveis explicativas em , devemos ter um hiperplano dimensional . $Y$ $X$ $K$ $X$ $K\!+\!1$

Geralmente, em uma configuração de matriz, a regressão requer que uma interceptação constante seja imparcial para uma análise razoável do coeficiente de inclinação. Para acomodar esse truque, forçamos uma coluna da matriz a consistir apenas de " s". Nesse caso, o estimador fica sozinho multiplicado por uma constante para cada observação, em vez de uma variável explicativa aleatória. O coeficiente representa, portanto, o valor esperado de dado que é mantido fixo com o valor 1 e todas as outras variáveis são zero. Portanto, o hiperplano -Dimensional é reduzido por uma dimensão a um subespaço dimensional e $X$ $1$ $\beta_1$ $\beta_1$ $Y$ $x_{1i}$ $K\!+\!1$ $K$ $\beta_1$ corresponde à "interceptação" deste plano dimensional $K$

Em configurações de matriz, é sempre aconselhável dar uma olhada no caso simples de duas dimensões, para ver se podemos encontrar uma intuição para nossos resultados. Aqui, a maneira mais fácil é pensar na regressão simples com duas variáveis explicativas: ou expressa alternativamente na álgebra matricial: onde é um matriz.

y_{i} = β_{1} x_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_1x_{1i} + \beta_2x_{2i} +u_i$

Y = X β + u

$Y=X\beta +u$

X

$X$

N \times 2

$N\!\times\!2$

$<Y,X>$ abrange um hiperplano tridimensional.

Agora, se todos como todos os , obteremos: que é a nossa regressão simples usual que pode ser representada em um gráfico bidimensional . Observe que agora está reduzido a uma linha bidimensional - um subconjunto do hiperplano original tridimensional. O coeficiente corresponde à interceptação do corte de linha em . $x_1$ $1$

y_{i} = β_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_{1i} + \beta_2x_{2i} + u_i$

X, Y

$X,\ Y$

< Y, X >

$<Y,X>$

β_{1}

$\beta_1$

x_{2 i} = 0

$x_{2i}=0$

Também pode ser mostrado que ele também passa por para quando a constante é incluída . Se deixarmos de fora a constante, o hiperplano de regressão sempre passa trivialmente por - sem dúvida. Isso generaliza para várias dimensões, como será visto mais adiante ao derivar : Como possui uma classificação completa por definição, e, portanto, a regressão passa pela origem se deixarmos de fora a interceptação. $<0,\beta_1>$ $<0,0>$ $\beta$

(X^{'} X) β = X^{'} y ⟹ (X^{'} X) β - X^{'} y = 0 ⟹ X^{'} (y - X β) = 0.

$(X'X)\beta=X'y \implies (X'X)\beta-X'y=0 \implies X'(y-X\beta)=0.$

X

$X$

y - X β = 0

$y-X\beta=0$

( Edit: Acabei de perceber que, para sua segunda pergunta, é exatamente o oposto de você escrever sobre a inclusão ou exclusão da constante. No entanto, eu já desenvolvi a solução aqui e permaneço corrigido se estiver errado nessa. )

Eu sei que a representação matricial de uma regressão pode ser bastante confusa no início, mas eventualmente simplifica muito quando deriva de álgebra mais complexa. Espero que isso ajude um pouco.

— Majte
fonte

Eu acho que a maneira de pensar é reorganizar essa equação:

\hat{Y} - X^{T} \hat{β} = 0

$\widehat{Y} - X^{T} \widehat{\beta} = 0$

A única maneira de obter essa equação linear para incluir a origem é tornar o previsto igual à interceptação. E a maneira de estimar esse valor é incluir um termo de interceptação no modelo de regressão.

\hat{Y}

$\widehat{Y}$

— DWin
fonte

Como um vetor de variáveis ​​representa um hiperplano?

Como um vetor de variáveis representa um hiperplano?