Por que o erro padrão da interceptação aumenta quanto mais


13

O erro padrão da intercepção termo ( β 0 ) em Y = β 1 x + β 0 + ε é dado por S E ( β 0 ) 2 = σ 2 [ 1β^0y=β1x+β0+ε

SE(β^0)2=σ2[1n+x¯2i=1n(xix¯)2]
ondex¯é a média doxi's.

Pelo que eu entendo, o SE quantifica o seu uncertainty- por exemplo, em 95% das amostras, o intervalo irá conter o verdadeiro β 0 . Não entendo como a SE, uma medida de incerteza, aumenta com ˉ x . Se eu simplesmente mudar meus dados, para que = x = 0 , minha incerteza diminua ? Isso parece irracional.[β^02SE,β^0+2SE]β0x¯x¯=0

Uma interpretação é análoga - na versão descentrada das minhas corresponde a minha previsão em x = 0 , enquanto que nos dados centrados, p 0 corresponde a minha previsão em x = ˉ x . Então, isso significa que minha incerteza sobre minha previsão em x = 0 é maior do que minha incerteza sobre minha previsão em x = ˉ x ? Isso também parece irracional, o erro ϵ tem a mesma variação para todos os valores de xβ^0x=0β^0x=x¯x=0x=x¯ϵx, então minha incerteza em meus valores previstos deve ser a mesma para todos os .x

Existem lacunas no meu entendimento, tenho certeza. Alguém poderia me ajudar a entender o que está acontecendo?


3
Você já regrediu alguma coisa contra uma data? Muitos sistemas de computadores começam suas datas no passado distante, muitas vezes há mais de 100 ou mais de 2000 anos atrás. A interceptação estima o valor dos seus dados extrapolados para trás até o momento inicial. Quão certo você estaria, digamos, do produto interno bruto do Iraque no ano 0 EC, com base na regressão de uma série de dados do século XXI?
whuber

Eu concordo, faz sentido se você pensar dessa maneira. Isso e a resposta de Gung tornam as coisas claras.
elexhobby

2
Esta resposta fornece uma explicação intuitiva, com diagramas) de como ela surge, moldando a linha ajustada em termos do ajuste na média (a linha ajustada passa por ( ˉ x , ˉ y ) ) e mostra por que a posição de onde a linha pode ir se espalha para fora como você se afastar de ˉ x (que é causada pela incerteza na encosta). x¯(x¯,y¯)x¯
Glen_b -Reinstate Monica

Respostas:


16

Porque o ajuste linha de regressão por mínimos quadrados ordinários necessariamente passar pela média de seus dados (ou seja, ) -pelo menos enquanto você não suprimem a intercepção-incerteza sobre o verdadeiro valor do inclinação não tem qualquer efeito sobre a posição vertical da linha na parte média de x (ou seja, em y ˉ x ). Isso se traduz em incerteza menos vertical em ˉ x do que você tem o mais longe ˉ x você é. Se a interceptação, onde x = 0 é ˉ x(x¯,y¯)xy^x¯x¯x¯x=0x¯ , isso minimizará sua incerteza sobre o verdadeiro valor de . Em termos matemáticos, isto se traduz no menor valor possível do erro padrão para β 0 . β0β^0

Aqui está um exemplo rápido em R:

set.seed(1)                           # this makes the example exactly reproducible
x0      = rnorm(20, mean=0, sd=1)     # the mean of x varies from 0 to 10
x5      = rnorm(20, mean=5, sd=1)
x10     = rnorm(20, mean=10, sd=1)
y0      = 5 + 1*x0  + rnorm(20)       # all data come from the same  
y5      = 5 + 1*x5  + rnorm(20)       #  data generating process
y10     = 5 + 1*x10 + rnorm(20)
model0  = lm(y0~x0)                   # all models are fit the same way
model5  = lm(y5~x5)
model10 = lm(y10~x10)

enter image description here

Esta figura é um pouco ocupada, mas você pode ver os dados de vários estudos diferentes em que a distribuição de estava mais próxima ou mais distante de 0 . As encostas diferem um pouco de estudo para estudo, mas são bastante similares. (Aviso todos eles vão através do X circulado que eu usei para marca ( ˉ x , ˉ y ) .) No entanto, a incerteza sobre o verdadeiro valor desses encostas faz com que a incerteza sobre y para expandir a mais se afasta de ˉ x , o que significa que o S E ( β 0 )x0(x¯,y¯)y^x¯SE(β^0) muito grande para os dados que foram amostrados na vizinhança de e muito estreito para o estudo em que os dados foram amostrados perto de x = 0 . x=10x=0


Editar em resposta ao comentário: Infelizmente, centrando seus dados depois de tê-los não vai ajudar se você quiser saber a provável valor em algum x valor x nova . Em vez disso, você precisa centralizar sua coleta de dados no ponto que mais lhe interessa. Para entender melhor esses problemas, pode ser útil ler minha resposta aqui: Intervalo de previsão de regressão linear . yxxnew


x=xxx¯=0x¯=x

(xx¯)2 in the numerator instead of x¯2: no shifting is needed.
whuber

@elexhobby, I added some info to answer your comment, you might also want to look at the linked material. Let me know if you still need more.
gung - Reinstate Monica

Here's how I understand - I read elsewhere that SE(β^1)=σ2(xix¯)2. Now the error in the predicted value at xnew due to this uncertainty in the slope is SE(β^1)(xnewx¯)2. Furthermore, the error due to uncertainty in the vertical position of the line is σ2n. Combine these together, and we get the uncertainty in the predicted value due to uncertainty in β^1 and β^0 is σ2n+σ2(xnewx¯)2(xix¯)2. Correct me if I'm wrong.
elexhobby

1
Furthermore, it is clear why the error in the vertical position is σ2n - we know that the line has to pass through y¯ at x=x¯. Now y¯ contains the average of n iid errors, and hence will have SE equal to σ2n. Wow! Thanks a lot for your diagram and clear explanation, I really appreciate.
elexhobby
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.