Justificação para o uso de pesos geométricos na regressão linear

Na aplicação prática, tenho testemunhado frequentemente a prática a seguir. Observa-se um par longo do tempo. Pressupondo que eles estejam linearmente relacionados, regredimos um contra o outro usando pesos geométricos em vez de uniformes, ou seja, o OLS minimiza para alguns . Isso é muito intuitivo: pesamos menos observações no passado. Comparado a um esquema de ponderação de "vagão coberto", ele também tem a vantagem de produzir estimativas que mudam suavemente ao longo do tempo, porque as observações não caem abruptamente da janela de observação. No entanto, gostaria de saber se existe um modelo probabilístico subjacente à relação entre e $(x_t, y_t)$

\sum_{t = 0}^{\infty} k^{t} (y_{T - t} - a x_{T - t} - b)^{2}

$\sum_{t=0}^\infty k^{t} (y_{T-t}- a x_{T-t}-b)^2$

k \in (0, 1)

$k\in (0,1)$

x_{t}

$x_t$

y_{t}

$y_t$ que justifica essa escolha.

regression least-squares

— gappy
fonte

Outro dia, alguém em algum lugar de um dos sites relacionados do StackExchange estava comentando esse esquema como "filtro Kalman do pobre homem". Se eu conseguir descobrir o link, eu o adicionarei aqui.

— Dirk Eddelbuettel

Obrigado. Gostaria de ver como isso pode ser reformulado como um filtro Kalman.

— gappy 14/05

Duvido que exista uma derivação formal, daí as citações em torno da versão pobre dos parâmetros adaptativos.

— Dirk Eddelbuettel

Respostas:

"Relacionado linearmente" geralmente significa

y_{t} = a x_{t} + b + ε_{t}

$y_t = a x_t + b + \varepsilon_t$

para constante , e iid erros aleatórios , . Uma das razões seria fazer uma estimativa OLS exponencialmente ponderada é a suspeita de que e pode ser eles próprios (lentamente) variando com o tempo, também. Assim, realmente pensamos que o modelo correto é $a$ $b$ $\varepsilon_t$ $t=0,1,\ldots,T$ $a$ $b$

y_{t} = α (t) x_{t} + β (t) + ε_{t}

$y_t = \alpha(t) x_t + \beta(t) + \varepsilon_t$

para desconhecidos funções e que variam lentamente (se em tudo) ao longo do tempo e nós estamos interessados em estimar seus valores atuais, e . Vamos supor que essas funções sejam suaves, para que possamos aplicar o Teorema de Taylor. Isto afirma que $\alpha(t)$ $\beta(t)$ $a = \alpha_T$ $b = \beta_T$

α (t) = α (T) + α^{'} (t_{α, t}) (t - T)

$\alpha(t) = \alpha(T) + \alpha'(t_{\alpha,t})(t-T)$

para alguns e da mesma forma para . Pensamos em e como sendo os valores mais recentes, e , respectivamente. Use isto para reexprimir os resíduos: $t_{\alpha,t}, 0 \le t_{\alpha,t} \lt T$ $\beta(t)$ $a$ $b$ $\alpha_T$ $\beta_T$

y_{t} - (a x_{t} + b) = α^{'} (t_{α, t}) (t - T) x_{t} + β^{'} (t_{β, t}) (t - T) + ε_{t} .

$y_t - (a x_t + b) = \alpha'(t_{\alpha,t})(t-T)x_t + \beta'(t_{\beta,t})(t-T) + \varepsilon_t\text{.}$

Agora, muita coisa precisa acontecer. Consideraremos todo o lado direito como aleatório. Sua variação é a de mais vezes a variação de mais vezes a variação de . Essas duas variações são completamente desconhecidas, mas ( abracadabra ) vamos pensar nelas como resultado de algum tipo de processo (estocástico) no qual "erros" ou "variações" possivelmente sistemáticos (não aleatórios, mas ainda desconhecidos) são acumulados de uma só vez. o outro. Isso sugeriria uma exponencial $\varepsilon_t$ $x_t^2(t-T)^2$ $\alpha'(t_{\alpha,t})$ $(t-T)^2$ $\beta'(t_{\beta,t})$ mudança nessas variações ao longo do tempo. Agora, basta simplificar a expressão explícita (mas essencialmente inútil) do lado direito e absorver os termos quadráticos no exponencial (já que estamos agitando nossas mãos de maneira tão violenta), para obter $(t-T)^2$

y_{t} - (a x_{t} + b) = δ_{t}

$y_t - (a x_t + b) = \delta_t$

com a variação de igual a para alguma constante . Ignorar possíveis correlações temporais entre os e assumir que elas tenham distribuições normais fornece uma probabilidade de log para os dados proporcionais a $\delta_t$ $\exp(\kappa(t-T))$ $\kappa$ $\delta_t$

\sum_{t = 0}^{T} k^{- t} (y_{T - t} - a x_{T - t} - b)^{2}

$\sum_{t=0}^{T} k^{-t} (y_{T-t}- a x_{T-t}-b)^2$

(mais uma constante irrelevante dependendo apenas de ) com . O procedimento OLS ponderado exponencialmente, portanto, maximiza a probabilidade, assumindo que sabemos o valor de (como um procedimento de probabilidade de perfil). $k$ $k = \exp{\kappa}$ $k$

Embora toda essa derivação seja claramente fantasiosa, ela mostra como e aproximadamente em que grau a ponderação exponencial tenta lidar com possíveis alterações nos parâmetros lineares ao longo do tempo. Relaciona o parâmetro à taxa temporal de mudança desses parâmetros. $k$

— whuber
fonte

Concordo com a parte de acenar com a mão ... Estou bem com suposições simplificadoras sobre a forma variável no tempo dos parâmetros de regressão, desde que sejam claramente declarados. Obviamente, sinta-se à vontade para fazer referência à literatura existente.

— gappy 14/05

@ whuber - eu diria que a regressão ponderada exponencialmente é uma aproximação muito grosseira para o modelo específico que você descreveu . Mas poderia muito bem ser uma solução exata para um modelo diferente. Para o modelo que você descreve, seria muito melhor incluir o componente heterocedástico devido à variação em (ou suponha que ele não tenha variação e você esteja lidando com interceptação aleatória). Você está fazendo parecer que a ponderação geométrica é sempre abaixo do ideal, o que não é. Depende das suas informações anteriores.

α (t)

$\alpha(t)$

— probabilityislogic

@prob Concordo, mas não consegui encontrar um modelo que justifique exatamente essa abordagem, então tive que me contentar em apontar algumas das coisas que esse modelo pode acarretar. Percebo que sua resposta também não progride nessa direção ;-).

— whuber

@ whuber - e onde faço uma aproximação na minha equação para que não seja exata?

— probabilityislogic

@probability Você não justifica: você simplesmente anuncia o resultado que eu já havia publicado. Em outras palavras, você observa que, quando o OLS minimiza essa expressão, ele realmente faz mínimos quadrados ponderados. OK, mas isso não é perfeitamente óbvio? O que justifica essa escolha de pesos? De onde eles vêm?

— whuber

Eu acho que você realmente quer dizer como seu peso, ou que . Se e tomamos como o peso, então . Portanto, isso realmente pesa menos a observação atual. Por exemplo, se considerarmos então e assim por diante. $k^{t}$ $k>1$ $0<k<1$ $k^{-t}$ $k^{-\infty}=\infty$ $k=0.5$ $k^{0}=1,\;k^{-1}=2,\;k^{-2}=4,\dots,k^{-20}\approx 10^{6}$

Isso é apenas algo que você sabe sobre como a variação muda a cada observação (ela aumenta à medida que você se move para trás no tempo a partir do tempo ): $T$

(y_{T - t} | x_{T - t}, a, b, k, s) \sim N o r m a l (a x_{T - t} + b, s^{2} k^{- t})

$(y_{T-t}|x_{T-t},a,b,k,s) \sim Normal(ax_{T-t}+b,s^{2}k^{-t})$

Denotando e temos uma probabilidade conjunta de log de: $Y\equiv\{y_{T},y_{T-1},\dots,y_{1}\}$ $X\equiv\{x_{T},x_{T-1},\dots,x_{1}\}$

\log [p (Y | X, a, b, k, s)] = - \frac{1}{2} (T \log (2 π s^{2} k^{- t}) + \sum_{t = 0}^{T - 1} \frac{(y_{T - t} - a x_{T - t} - b)^{2}}{s^{2} k^{- t}})

$\log\left[p(Y|X,a,b,k,s)\right]=-\frac{1}{2}\left(T\log(2\pi s^{2} k^{-t})+\sum_{t=0}^{T-1}\frac{(y_{T-t}-ax_{T-t}-b)^{2}}{s^{2}k^{-t}}\right)$

Portanto, para obter as estimativas de probabilidade máxima de e você tem a seguinte função objetivo: $a$ $b$

\sum_{t = 0}^{T - 1} k^{t} (y_{T - t} - a x_{T - t} - b)^{2}

$\sum_{t=0}^{T-1}k^{t}(y_{T-t}-ax_{T-t}-b)^{2}$

Qual é o que você procura

— probabilityislogic
fonte