Funções de influência e OLS

15

Estou tentando entender como as funções de influência funcionam. Alguém poderia explicar no contexto de uma regressão OLS simples

y_{i} = α + β \cdot x_{i} + ε_{i}

$\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation}$

onde eu quero a função de influência para . $\beta$

regression least-squares

— stevejb
fonte

2

Ainda não há uma pergunta específica aqui: você deseja ver como a função de influência é calculada? Você quer um exemplo empírico específico? Uma explicação heurística do que isso significa?

— whuber

1

Se você procurar o artigo de Frank Critchley, de 1986, "influencia funções em componentes principais" (não se lembra do nome exato do artigo). Ele define a função de influência para a regressão comum aqui (o que pode ou não provar que minha resposta está errada).

— probabilityislogic

15

As funções de influência são basicamente uma ferramenta analítica que pode ser usada para avaliar o efeito (ou "influência") da remoção de uma observação sobre o valor de uma estatística sem ter que recalculá-la . Eles também podem ser usados para criar estimativas de variação assintótica. Se a influência for igual a , a variação assintótica será . $I$ $\frac{I^2}{n}$

A maneira como entendo as funções de influência é a seguinte. Você tem algum tipo de CDF teórico, indicado por . Para OLS simples, você tem $F_{i}(y)=Pr(Y_{i}<y_{i})$

P r (Y_{i} < y_{i}) = P r (α + β x_{i} + ϵ_{i} < y_{i}) = Φ (\frac{y_{i} - (α + β x_{i})}{σ})

$Pr(Y_{i}<y_{i})=Pr(\alpha+\beta x_{i} + \epsilon_{i} < y_{i})=\Phi\left(\frac{y_{i}-(\alpha+\beta x_{i})}{\sigma}\right)$ Onde é o CDF normal padrão e é a variação do erro. Agora você pode mostrar que qualquer estatística será uma função deste CDF, daí a notação (ou seja, alguma função de ). Agora, suponha que alteremos a função um pouco, para Onde e . Assim, representa o CDF dos dados com o "i-ésimo" ponto de dados removido. Podemos fazer uma série de taylor de

Φ (z)

$\Phi(z)$

σ^{2}

$\sigma^2$

S (F)

$S(F)$

F

$F$

F

$F$

F_{(i)} (z) = (1 + ζ) F (z) - ζ δ_{(i)} (z)

$F_{(i)}(z)=(1+\zeta)F(z)-\zeta \delta_{(i)}(z)$

δ_{i} (z) = I (y_{i} < z)

$\delta_{i}(z)=I(y_{i}<z)$

ζ = \frac{1}{n - 1}

$\zeta=\frac{1}{n-1}$

F_{(i)}

$F_{(i)}$

F_{(i)} (z)

$F_{(i)}(z)$ sobre . Isto dá:

ζ = 0

$\zeta=0$

S [F_{(i)} (z, ζ)] \approx S [F_{(i)} (z, 0)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F_{(i)}(z,0)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

Observe que então obtemos: $F_{(i)}(z,0)=F(z)$

S [F_{(i)} (z, ζ)] \approx S [F (z)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F(z)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

A derivada parcial aqui é chamada de função de influência. Portanto, isso representa uma correção aproximada de "primeira ordem" a ser feita em uma estatística devido à exclusão da observação "i". Observe que, na regressão, o restante não chega a zero assintoticamente, de modo que essa é uma aproximação das alterações que você pode realmente obter. Agora escreva como: $\beta$

β = \frac{\frac{1}{n} \sum_{j = 1}^{n} (y_{j} - \bar{y}) (x_{j} - \bar{x})}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}}

$\beta=\frac{\frac{1}{n}\sum_{j=1}^{n}(y_{j}-\overline{y})(x_{j}-\overline{x})}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}$

Portanto, beta é uma função de duas estatísticas: a variação de X e covariância entre X e Y. Essas duas estatísticas têm representações em termos de CDF como:

c o v (X, Y) = \int (X - μ_{x} (F)) (Y - μ_{y} (F)) d F

$cov(X,Y)=\int(X-\mu_x(F))(Y-\mu_y(F))dF$ e onde

v a r (X) = \int (X - μ_{x} (F))^{2} d F

$var(X)=\int(X-\mu_x(F))^{2}dF$

μ_{x} = \int x d F

$\mu_x=\int xdF$

Para remover a i-ésima observação, substituímos nas duas integrais para fornecer: $F\rightarrow F_{(i)}=(1+\zeta)F-\zeta \delta_{(i)}$

μ_{x (i)} = \int x d [(1 + ζ) F - ζ δ_{(i)}] = μ_{x} - ζ (x_{i} - μ_{x})

$\mu_{x(i)}=\int xd[(1+\zeta)F-\zeta \delta_{(i)}]=\mu_x-\zeta(x_{i}-\mu_x)$

V a r (X)_{(i)} = \int (X - μ_{x (i)})^{2} d F_{(i)} = \int (X - μ_{x} + ζ (x_{i} - μ_{x}))^{2} d [(1 + ζ) F - ζ δ_{(i)}]

$Var(X)_{(i)}=\int(X-\mu_{x(i)})^{2}dF_{(i)}=\int(X-\mu_x+\zeta(x_{i}-\mu_x))^{2}d[(1+\zeta)F-\zeta \delta_{(i)}]$

ignorando os termos de e simplificando, obtemos: Da mesma forma para a covariância $\zeta^{2}$

V a r (X)_{(i)} \approx V a r (X) - ζ [(x_{i} - μ_{x})^{2} - V a r (X)]

$Var(X)_{(i)}\approx Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]$

C o v (X, Y)_{(i)} \approx C o v (X, Y) - ζ [(x_{i} - μ_{x}) (y_{i} - μ_{y}) - C o v (X, Y)]

$Cov(X,Y)_{(i)}\approx Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]$

Portanto, agora podemos expressar como uma função de . Isto é: $\beta_{(i)}$ $\zeta$

β_{(i)} (ζ) \approx \frac{C o v (X, Y) - ζ [(x_{i} - μ_{x}) (y_{i} - μ_{y}) - C o v (X, Y)]}{V a r (X) - ζ [(x_{i} - μ_{x})^{2} - V a r (X)]}

$\beta_{(i)}(\zeta)\approx \frac{Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]}{Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]}$

Agora podemos usar a série Taylor:

β_{(i)} (ζ) \approx β_{(i)} (0) + ζ {[\frac{\partial β_{(i)} (ζ)}{\partial ζ}]}_{ζ = 0}

$\beta_{(i)}(\zeta)\approx \beta_{(i)}(0)+\zeta\left[\frac{\partial \beta_{(i)}(\zeta)}{\partial \zeta}\right]_{\zeta=0}$

Simplificar isso fornece:

β_{(i)} (ζ) \approx β - ζ [\frac{(x_{i} - μ_{x}) (y_{i} - μ_{y})}{V a r (X)} - β \frac{(x_{i} - μ_{x})^{2}}{V a r (X)}]

$\beta_{(i)}(\zeta)\approx \beta-\zeta\left[\frac{(x_{i}-\mu_x)(y_{i}-\mu_y)}{Var(X)}-\beta\frac{(x_{i}-\mu_x)^2}{Var(X)}\right]$

E adicionando os valores das estatísticas , , e , obtemos: $\mu_y$ $\mu_x$ $var(X)$ $\zeta=\frac{1}{n-1}$

β_{(i)} \approx β - \frac{x_{i} - \bar{x}}{n - 1} [\frac{y_{i} - \bar{y}}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}} - β \frac{x_{i} - \bar{x}}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}}]

$\beta_{(i)}\approx \beta-\frac{x_{i}-\overline{x}}{n-1}\left[\frac{y_{i}-\overline{y}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}-\beta\frac{x_{i}-\overline{x}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}\right]$

E você pode ver como o efeito da remoção de uma única observação pode ser aproximado sem precisar reajustar o modelo. Você também pode ver como um x igual à média não influencia a inclinação da linha . Pense sobre isso e você verá como isso faz sentido. Você também pode escrever isso de maneira mais sucinta em termos dos valores padronizados (da mesma forma para y): $\tilde{x}=\frac{x-\overline{x}}{s_{x}}$

β_{(i)} \approx β - \frac{\tilde{x_{i}}}{n - 1} [\tilde{y_{i}} \frac{s_{y}}{s_{x}} - \tilde{x_{i}} β]

$\beta_{(i)}\approx \beta-\frac{\tilde{x_{i}}}{n-1}\left[\tilde{y_{i}}\frac{s_y}{s_x}-\tilde{x_{i}}\beta\right]$

— probabilityislogic
fonte

Então a história é sobre a influência de pontos de dados adicionais? Eu me acostumei mais à resposta de impulso para os dados de séries temporais, no contexto estatístico toda influência seria descrita por efeito marginal ou (melhor escolha) coeficiente beta da regressão padronizada. Bem, eu realmente preciso de mais contexto para julgar a pergunta e a resposta, mas essa é legal, eu acho (+1 ainda não, mas aguardando).

— Dmitrij Celov

@dmitrij - Isso é o que estava implícito (ou o que eu deduzi) no link - trata-se das propriedades de robustez de uma estatística. As funções de influência são um pouco mais gerais que 1 ponto de dados - é possível redefinir a função delta para ser uma soma delas (muitas observações). Eu pensaria nisso como um "Jacknife barato", até certo ponto - porque você não precisa de uma nova adaptação do modelo.

— probabilityislogic

10

Aqui está uma maneira super geral de falar sobre as funções de influência de uma regressão. Primeiro, abordarei uma maneira de apresentar funções de influência:

Suponha que seja uma distribuição em . A função de distribuição contaminada , pode ser definida como: que é a medida de probabilidade em que atribui a probabilidade 1 a e 0 para todos os outros elementos de . $F$ $\Sigma$ $F_\epsilon(x)$

F_{ϵ} (x) = (1 - ϵ) F + ϵ δ_{x}

$F_\epsilon(x)=(1-\epsilon)F+\epsilon\delta_x$

δ_{x}

$\delta_x$

Σ

$\Sigma$

{x}

$\{x\}$

Σ

$\Sigma$

A partir disso, podemos definir a função de influência com bastante facilidade:

A função de influência de em , é definida como: $\hat{\theta}$ $F$ $\psi_i:\mathcal{X}\to\Gamma$

ψ_{\hat{θ}, F} (x) = lim_{ϵ \to 0} \frac{\hat{θ} (F_{ϵ} (x)) - \hat{θ} (F)}{ϵ}

$\begin{equation} \psi_{\hat{\theta},F}(x)=\lim\limits_{\epsilon\to 0}\dfrac{\hat{\theta}(F_\epsilon(x))-\hat{\theta}(F)}{\epsilon} \end{equation}$

A partir daqui, é possível ver que uma função de influência é a derivada de Gateaux de em na direção de . Isso torna a interpretação das funções de influência (para mim) um pouco mais clara: uma função de influência informa o efeito que uma observação específica tem no estimador. $\hat\theta$ $F$ $\delta_x$

A estimativa do OLS é uma solução para o problema:

\hat{θ} = \arg min_{θ} E [(Y - X θ)^{T} (Y - X θ)]

$\hat\theta=\arg\min_\theta E[(Y-X\theta)^T(Y-X\theta)]$

Imagine uma distribuição contaminada que ponha um pouco mais de peso na observação : $(x,y)$

{\hat{θ}}_{ϵ} = \arg min_{θ} (1 - ϵ) E [(Y - X θ)^{T} (Y - X θ)] + ϵ (y - x θ)^{T} (y - x θ)

$\hat\theta_\epsilon = \arg\min_\theta (1-\epsilon)E[(Y-X\theta)^T(Y-X\theta)]+\epsilon (y-x\theta)^T(y-x\theta)$

Tomando condições de primeira ordem:

{(1 - ϵ) E [X^{T} X] + ϵ x^{T} x} {\hat{θ}}_{ϵ} = (1 - ϵ) E [X^{T} Y] + ϵ x^{T} y

$\left\{(1-\epsilon)E[X^TX]+\epsilon x^Tx\right\}\hat\theta_\epsilon = (1-\epsilon)E[X^TY]+\epsilon x^Ty$

Como a função de influência é apenas um derivado de Gateaux, podemos agora dizer:

- (E [X^{T} X] + x^{T} x) {\hat{θ}}_{ϵ} + E [X^{T} X] ψ_{θ} (x, y) = - E [X^{T} Y] + x^{T} y

$-(E[X^TX]+x^Tx)\hat\theta_\epsilon + E[X^TX]\psi_{\theta}(x,y) = -E[X^TY] + x^Ty$

Em , , então: $\epsilon=0$ $\hat\theta_\epsilon=\hat\theta=E[X^TX]^{-1}E[X^TY]$

ψ_{θ} (x, y) = E [X^{T} X]^{- 1} x^{T} (y - x θ)

$\psi_{\theta}(x,y)=E[X^TX]^{-1}x^T(y-x\theta)$

A contraparte de amostra finita dessa função de influência é:

ψ_{θ} (x, y) = {(\frac{1}{N} \sum_{i} X_{i}^{T} X_{i})}^{- 1} x^{T} (y - x θ)

$\psi_{\theta}(x,y)=\left(\dfrac{1}{N}\sum_i X_i^TX_i\right)^{-1}x^T(y-x\theta)$

Em geral, acho essa estrutura (trabalhando com funções de influência como derivadas de Gateaux) mais fácil de lidar.

— jayk
fonte