Derivar variância do coeficiente de regressão na regressão linear simples


38

Na regressão linear simples, temos , onde . Eu o estimador: onde e são os meios de exemplo de e .y=β0+β1x+uuiidN(0,σ2)

β1^=i(xix¯)(yiy¯)i(xix¯)2 ,
x¯y¯xy

Agora eu quero encontrar a variação de . algo como o seguinte: β^1

Var(β1^)=σ2(11n)i(xix¯)2 .

A derivação é a seguinte:

Var(β1^)=Var(i(xix¯)(yiy¯)i(xix¯)2)=1(i(xix¯)2)2Var(i(xix¯)(β0+β1xi+ui1nj(β0+β1xj+uj)))=1(i(xix¯)2)2Var(β1i(xix¯)2+i(xix¯)(uijujn))=1(i(xix¯)2)2Var(i(xix¯)(uijujn))=1(i(xix¯)2)2×E[(i(xix¯)(uijujn)E[i(xix¯)(uijujn)]=0)2]=1(i(xix¯)2)2E[(i(xix¯)(uijujn))2]=1(i(xix¯)2)2E[i(xix¯)2(uijujn)2] , since ui 's are iid=1(i(xix¯)2)2i(xix¯)2E(uijujn)2=1(i(xix¯)2)2i(xix¯)2(E(ui2)2×E(ui×(jujn))+E(jujn)2)=1(i(xix¯)2)2i(xix¯)2(σ22nσ2+σ2n)=σ2i(xix¯)2(11n)

Eu fiz algo errado aqui?

Eu sei que se eu fizer tudo na notação matricial, obteria . Mas estou tentando derivar a resposta sem usar a notação matricial apenas para ter certeza de entender os conceitos.Var(β1^)=σ2i(xix¯)2


2
Sim, sua fórmula da notação de matriz está correta. Observando a fórmula em questão, para que pareça que você possa usar um desvio padrão de amostra em algum lugar em vez de um desvio padrão da população? Sem ver a derivação, é difícil dizer mais nada. 11n=n1n
precisa saber é o seguinte

Respostas gerais também foram postadas no segmento duplicado em stats.stackexchange.com/questions/91750 .
whuber

Respostas:


35

No início de sua derivação, você multiplica os colchetes , no processo expandindo e . O primeiro depende da variável de soma , enquanto o segundo não. Se você deixar como está, a derivação será muito mais simples, porque y i ˉ y i ˉ y Σ i ( x i - ˉ x ) ˉ yEu(xEu-x¯)(yEu-y¯)yEuy¯Euy¯

Eu(xEu-x¯)y¯=y¯Eu(xEu-x¯)=y¯((EuxEu)-nx¯)=y¯(nx¯-nx¯)=0 0

Conseqüentemente

Eu(xEu-x¯)(yEu-y¯)=Eu(xEu-x¯)yEu-Eu(xEu-x¯)y¯=Eu(xEu-x¯)yEu=Eu(xEu-x¯)(β0 0+β1xEu+vocêEu)

e

Var(β1^)=Var(Eu(xEu-x¯)(yEu-y¯)Eu(xEu-x¯)2)=Var(Eu(xEu-x¯)(β0 0+β1xEu+vocêEu)Eu(xEu-x¯)2),substituindo no acima=Var(Eu(xEu-x¯)vocêEuEu(xEu-x¯)2),observando apenas vocêEu é uma variável aleatória=Eu(xEu-x¯)2Var(vocêEu)(Eu(xEu-x¯)2)2,independência de vocêEu e, Var(kX)=k2Var(X)=σ2Eu(xEu-x¯)2

qual é o resultado que você deseja.


Como observação, passei muito tempo tentando encontrar um erro na sua derivação. No final, decidi que a discrição era a melhor parte do valor e era melhor tentar a abordagem mais simples. No entanto, para o registro, não tinha certeza de que essa etapa fosse justificada porque perde os termos cruzados devido a .

=.1(Eu(xEu-x¯)2)2E[(Eu(xEu-x¯)(vocêEu-jvocêjn))2]=1(Eu(xEu-x¯)2)2E[Eu(xEu-x¯)2(vocêEu-jvocêjn)2] , Desde a vocêEu são iid
jvocêjn

Percebi que poderia usar a abordagem mais simples há muito tempo, mas estava determinado a me aprofundar e encontrar a mesma resposta usando abordagens diferentes, para garantir que eu entendesse os conceitos. Percebo que primeiro das equações normais (FOC do método dos mínimos quadrados), então , mais , então . Portanto, não haverá o termo em primeiro lugar. jvocêj^=0 0você^¯=EuvocêEun=0 0você^¯=y¯-y^¯=0 0y¯=y^¯jvocêjn
precisa

ok, na sua pergunta a ênfase estava em evitar a notação matricial.
precisa saber é o seguinte

Sim, porque consegui resolvê-lo usando a notação matricial. E note que no meu último comentário, eu não usei nenhuma álgebra linear. Obrigado pela sua ótima resposta de qualquer maneira ^. ^ #
MynameisJEFF #

desculpe, estamos falando de propósitos diferentes aqui? Também não usei nenhuma notação matricial na minha resposta e pensei que era isso que você estava perguntando na sua pergunta.
precisa saber é o seguinte

desculpe por mal-entendido haha ​​... #
9685

2

Acredito que o problema em sua prova seja a etapa em que você o valor esperado do quadrado de . Esse é o formato , onde . Assim, ao quadrado, obtemos . Agora, a partir da computação explícita, , então comoEu(xEu-x¯)(vocêEu-jvocêjn)E[(EuumaEubEu)2]umaEu=xEu-x¯;bEu=vocêEu-jvocêjnE[Eu,jumaEuumajbEubj]=Eu,jumaEuumajE[bEubj]E[bEubj]=σ2(δEuj-1n)E[Eu,jumaEuumajbEubj]=Eu,jumaEuumajσ2(δEuj-1n)=EuumaEu2σ2EuumaEu=0 0.


2

Comece com "A derivação é a seguinte:" O sétimo "=" está errado.

Porque

Eu(xEu-x¯)(vocêEu-você¯)

=Eu(xEu-x¯)vocêEu-Eu(xEu-x¯)você¯

=Eu(xEu-x¯)vocêEu-você¯Eu(xEu-x¯)

=Eu(xEu-x¯)vocêEu-você¯(EuxEu-nx¯)

=Eu(xEu-x¯)vocêEu-você¯(EuxEu-EuxEu)

=Eu(xEu-x¯)vocêEu-você¯0 0

=Eu(xEu-x¯)vocêEu

Então, depois do 7º "=", deve ser:

1(Eu(xEu-x¯)2)2E[(Eu(xEu-x¯)vocêEu)2]

=1(Eu(xEu-x¯)2)2E(Eu(xEu-x¯)2vocêEu2+2Euj(xEu-x¯)(xj-x¯)vocêEuvocêj)

=1(Eu(xEu-x¯)2)2E(Eu(xEu-x¯)2vocêEu2)+2E(Euj(xEu-x¯)(xj-x¯)vocêEuvocêj)

= , porque e são independentes e significam 0, então1(Eu(xEu-x¯)2)2E(Eu(xEu-x¯)2vocêEu2)vocêEuvocêjE(vocêEuvocêj)=0 0

=1(Eu(xEu-x¯)2)2(Eu(xEu-x¯)2E(vocêEu2))

σ2(Eu(xEu-x¯)2)2


1
Pode ser útil se você editou sua resposta para incluir a linha correta.
precisa saber é o seguinte

Sua resposta está sendo sinalizada automaticamente como baixa qualidade, porque é muito curta. Por favor, considere expandir sua resposta
Glen_b -Reinstar Monica
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.