Erro sistemático / de medição em regressão linear

8

Suponha que eu tenha um conjunto de dados no qual a incerteza nas medições (provenientes da propagação de erros sistemáticos do aparato de medição) seja diferente para cada ponto. Se eu fizer uma regressão linear no conjunto de dados, como calculo a incerteza na inclinação? Eu gostaria de um procedimento explícito ou fórmula. ${(x_i,y_i)}$ ${(\Delta x_i,\Delta y_i)}$

linear-model measurement-error errors-in-variables

— Iván Mauricio Burbano
fonte

2

Você tem idéia de qual erro de medição é maior?

— Dimitriy V. Masterov 18/01/19

1

Pelos deltas, você quer dizer diferença entre medições seqüenciais? Seus dados são seqüenciais? Você espera que o erro seja correlacionado? Você espera que a correlação decaia? Você tem algum tipo de replicação independente? Mais informações são necessárias para fornecer uma resposta concreta.

— usar o seguinte comando

O termo que você está procurando é propagação de erro. Você tem erros no lado da entrada e calcula (mais especificamente: estimar) dois parâmetros a partir dele. Infelizmente, o nome "regressão linear" descreve apenas um modelo (popular), mas não o método pelo qual você estima os parâmetros. Para os métodos mais usados, você provavelmente pode procurar a solução (por exemplo, mínimos quadrados). Caso contrário, você pode calculá-lo analiticamente ou aproximar-se por avaliação numérica.

— querubim

4

Podemos modelar o experimento como onde denota valores verdadeiros, são erros de medição, são seus componentes "fixos" independentes da observação (que podem surgir da calibração incorreta dos sensores) e variam de observação para observação e correspondem a muitos fatores possíveis que tratamos como aleatórios.

x_{Eu} = x_{Eu}^{*} + {\tilde{você}}_{Eu}

$x_i=x_i^*+\tilde u_i$

y_{Eu} = y_{Eu}^{*} + {\tilde{v}}_{Eu}

$y_i=y_i^*+\tilde v_i$

{\tilde{você}}_{Eu} = \bar{você} + v_{Eu}

$\tilde u_i=\bar u + v_i$

{\tilde{v}}_{Eu} = \bar{v} + {você}_{Eu}

$\tilde v_i=\bar v + u_i$

x_{i}^{*}, y_{i}^{*}

$x_i^*, y_i^*$

{\tilde{u}}_{i}, {\tilde{v}}_{i}

$\tilde u_i,\tilde v_i$

\bar{u}, \bar{v}

$\bar u,\bar v$

u, v

$u,v$

A regressão linear simples é e a estimativa OLS da inclinação é O que obtemos é, no entanto,

y_{Eu}^{*} = α + β x_{Eu}^{*} + e_{Eu}

$y_i^*=\alpha+\beta x_i^*+e_i$

\hat{β} = \frac{C o v (x^{*}, y^{*})}{V uma r (x^{*})}

$\hat\beta=\frac{Cov(x^*,y^*)}{Var(x^*)}$

\tilde{β} = \frac{C o v (x, y)}{V uma r (x)} = \frac{C o v (x^{*} + você, y^{*} + v)}{V uma r (x^{*} + você)} = \frac{C o v (x^{*}, y^{*}) + C o v (x^{*}, v) + C o v (y^{*}, você) + C o v (você, v)}{V uma r (x^{*}) + V uma r (você) + 2 C o v (x, você)}

$\tilde\beta=\frac{Cov(x,y)}{Var(x)}=\frac{Cov(x^* + u,y^*+ v)}{Var(x^* + u)}=\frac{Cov(x^*,y^*)+Cov(x^*,v)+Cov(y^*,u)+Cov(u,v)}{Var(x^*) + Var(u) + 2Cov(x,u)}$

Agora vamos supor que não esteja correlacionado com e entre si (uma suposição bastante forte que pode ser aprimorada se tivermos mais inferências sobre a natureza dos erros). Então nossa estimativa é Podemos estimar como variação amostral de . Também precisamos estimar . Se temos um experimento em que podemos observar várias vezes, uma abordagem simples é estimar ]. $v,u$ $x^*,y^*$

\tilde{β} = β \frac{σ_{x^{*}}^{2}}{σ_{x^{*}}^{2} + σ_{você}^{2}} \approx β \frac{{\hat{σ}}_{x}^{2} - {\hat{σ}}_{você}^{2}}{{\hat{σ}}_{x}^{2}} = β \hat{λ}

$\tilde\beta=\beta\frac{\sigma^2_{x^*}}{\sigma^2_{x^*}+\sigma^2_{u}}\approx\beta\frac{\hat\sigma^2_x-\hat\sigma^2_u}{\hat\sigma^2_x}=\beta\hat\lambda$

{\hat{σ}}_{x}^{2}

$\hat\sigma^2_x$

x_{i}

$x_i$

σ_{u}^{2}

$\sigma^2_u$

x_{i}^{*}

$x^*_i$

σ_{u}^{2} = E [σ_{x}^{2} | x_{i}^{*}

$\sigma^2_u=E[\sigma^2_x|x^*_i$

Agora podemos usar nosso calculado com, por exemplo, o método de autoinicialização e corrigi-lo para para que . $\hat\sigma^2_{\tilde\beta}$ $\hat\beta =\tilde\beta /\hat\lambda$

{\hat{σ}}_{\hat{β}}^{2} = \frac{{\hat{σ}}_{\tilde{β}}^{2}}{{\hat{λ}}^{2}}

$\hat\sigma^2_{\hat\beta}=\frac{\hat\sigma^2_{\tilde\beta}}{\hat\lambda^2}$

— yshilov
fonte

3

Eu acho que a resposta dada por @yshilov é definitivamente incrível, considerando o erro de medição no termo do erro e, significativamente, deduz o resultado

\tilde{β} = β \frac{σ_{x}^{2}}{σ_{x}^{2} + σ_{você}^{2}}

$\tilde \beta = \beta \frac{\sigma_x^2}{\sigma_x^2 + \sigma_u^2}$

Para elaborar, essa versão beta possui propriedades especiais que é um estimador enviesado, mas enviesado para 0. Especificamente, para regressão linear, $E(\hat \beta_1)=\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

A prova é a seguinte: em regressão linear simples, lembre-se No caso de erro de medição, temos , e , então obtemos Supondo que , , e a variação do valor preditivo verdadeiro

{\hat{β}}_{1} = \frac{\sum_{Eu = 1}^{n} (x_{Eu} - \bar{x}) y_{Eu}}{\sum_{Eu = 1}^{n} (x_{Eu} - \bar{x})^{2}}

$\hat \beta_1 = \frac{\sum_{i=1}^n(x_i-\bar x)y_i}{\sum_{i=1}^n(x_i-\bar x)^2}$

x_{i}^{O} = x_{i}^{A} = δ_{i}

$x_i^O=x_i^A=\delta_i$

y_{i}^{O} = y_{i}^{A} + ϵ_{i}

$y_i^O=y_i^A+\epsilon_i$

y_{i}^{A} = β_{0} + β_{1} x_{i}^{A}

$y_i^A=\beta_0 +\beta_1 x_i^A$

y_{Eu}^{O} = β_{0 0} + β_{1} (x_{Eu}^{O} - δ_{Eu}) + ϵ_{Eu} = β_{0 0} + β_{1} x_{Eu}^{O} + (ϵ_{Eu} - β_{1} δ_{Eu})

$y_i^O=\beta_0+\beta_1(x_i^O-\delta_i)+\epsilon_i=\beta_0+\beta_1x_i^O+(\epsilon_i-\beta_1 \delta_i)$

E (ϵ_{i}) = E (δ_{i}) = 0

$E(\epsilon_i)=E(\delta_i)=0$

v a r (ϵ_{i}) = σ_{ϵ}^{2}

$var(\epsilon_i)=\sigma_{\epsilon}^2$

v a r (δ_{i}) = σ_{δ}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (δ_{i} - \bar{δ})^{2}

$var(\delta_i)=\sigma_{\delta}^2 = \frac{1}{n}\sum_{i=1}^n(\delta_i-\bar \delta)^2$

σ_{x}^{2} = \frac{\sum (x_{i}^{A} - \bar{x^{A}})^{2}}{n}

$\sigma_{x}^2=\frac{\sum(x_i^A-\bar {x^A})^2}{n}$ e correlação de verdadeiro preditor e erro , em seguida,

σ_{x δ} = c o v (x^{A}, δ) = \frac{1}{n} \sum_{i = 1}^{n} (x_{i}^{A} - \bar{x_{i}^{A}}) (δ_{i} - \bar{δ})

$\sigma_{x \delta}=cov(x^A,\delta)= \frac{1}{n}\sum_{i=1}^n(x_i^A-\bar {x_i^A})(\delta_i- \bar \delta)$

c o v (x_{Eu}^{O}, δ) = E (x_{Eu}^{O} δ) - E (x_{Eu}^{O}) \cdot E (δ) = E (x_{Eu}^{O} δ) = E [(x_{Eu}^{UMA} + δ) δ] = E (x_{Eu}^{UMA} δ) + E (δ^{2})

$cov(x_i^O,\delta)=E(x_i^O\delta)-E(x_i^O)\cdot E(\delta)=E(x_i^O\delta)=E[(x_i^A+\delta)\delta]=E(x_i^A \delta)+E(\delta^2)$

= [E (x_{Eu}^{UMA} δ) - E (x_{Eu}^{UMA}) \cdot E (δ)] + [v uma r (δ) + [E (δ)]^{2}] = c o v (x_{Eu}^{UMA}, δ) + σ_{δ}^{2} = σ_{x δ} + σ_{δ}^{2}

$=\big[E(x_i^A \delta)-E(x_i^A)\cdot E(\delta)\big]+\big[var(\delta)+[E(\delta)]^2\big]=cov(x_i^A,\delta)+\sigma_{\delta}^2=\sigma_{x\delta}+\sigma_{\delta}^2$ Então, por e propriedade de bilinearidade em covariância, a expectativa de é

\bar{x} = E (x_{i})

$\bar x = E(x_i)$

{\hat{β}}_{1}

$\hat \beta_1$

E ({\hat{β}}_{1}) = E [\frac{\sum_{Eu = 1}^{n} (x_{Eu}^{O} - {\bar{x}}^{O}) y_{Eu}^{O}}{\sum_{Eu = 1}^{n} (x_{Eu}^{O} - {\bar{x}}^{O})^{2}}] = \frac{E (\sum_{Eu = 1}^{n} x_{Eu}^{O} y_{Eu}^{O}) - E (\sum_{Eu = 1}^{n} {\bar{x}}^{O} y_{Eu}^{O})}{\sum_{Eu = 1}^{n} E [(x_{Eu}^{O} - E (x_{Eu}^{O}))^{2}]} = \frac{E (\sum_{Eu = 1}^{n} x_{Eu}^{O} y_{Eu}^{O}) - E (x_{Eu}^{O}) \cdot E (\sum_{Eu = 1}^{n} y_{Eu}^{O})}{\sum_{Eu = 1}^{n} v uma r (x_{Eu}^{O})}

$E(\hat \beta_1)=E\Big[\frac{\sum_{i=1}^n(x_i^O-\bar x^O)y_i^O}{\sum_{i=1}^n(x_i^O-\bar x^O)^2}\Big]=\frac{E(\sum_{i=1}^nx^O_iy_i^O)-E(\sum_{i=1}^n \bar x^Oy_i^O)}{\sum_{i=1}^n E\big[(x_i^O-E(x_i^O))^2\big]}=\frac{E(\sum_{i=1}^nx_i^Oy_i^O)-E(x_i^O)\cdot E(\sum_{i=1}^n y_i^O)}{\sum_{i=1}^nvar(x_i^O)}$

= \frac{\sum_{Eu = 1}^{n} c o v (y_{Eu}^{O}, x_{Eu}^{O})}{\sum_{Eu = 1}^{n} v uma r (x_{Eu}^{O})} = \frac{\sum_{Eu = 1}^{n} c o v (β_{0 0} + β_{1} x_{Eu}^{O} + ϵ_{Eu} - β_{1} δ_{Eu}, x_{Eu}^{O})}{\sum_{Eu = 1}^{n} v uma r (x_{Eu}^{O})} = \frac{β_{1} \cdot \sum_{Eu = 1}^{n} v uma r (x_{Eu}^{O}) - β_{1} \cdot \sum_{Eu = 1}^{n} c o v (x_{Eu}^{O}, δ_{Eu})}{\sum_{Eu = 1}^{n} v uma r (x_{Eu}^{O})}

$=\frac{\sum_{i=1}^ncov(y_i^O,x_i^O)}{\sum_{i=1}^nvar(x_i^O)}=\frac{\sum_{i=1}^ncov(\beta_0+\beta_1x_i^O+\epsilon_i-\beta_1\delta_i,~x_i^O)}{\sum_{i=1}^nvar(x_i^O)}=\frac{\beta_1\cdot \sum_{i=1}^nvar(x_i^O)-\beta_1\cdot \sum_{i=1}^ncov(x_i^O, \delta_i)}{\sum_{i=1}^nvar(x_i^O)}$

= β_{1} \cdot [1 - \frac{\sum_{Eu = 1}^{n} c o v (x_{Eu}^{O}, δ_{Eu}) / n}{\sum_{Eu = 1}^{n} v uma r (x_{Eu}^{UMA} + δ_{Eu}) / n}] = β_{1} \cdot [1 - \frac{σ_{x δ} + σ_{δ}^{2}}{σ_{x}^{2} + 2 c o v (x_{Eu}^{UMA}, δ_{Eu}) + σ_{δ}^{2}}] = β_{1} \cdot [\frac{σ_{x}^{2} + σ_{x δ}}{σ_{x}^{2} + 2 σ_{x δ} + σ_{δ}^{2}}]

$=\beta_1 \cdot \Big[ 1-\frac{{\sum_{i=1}^ncov(x_i^O,\delta_i)}/{n}}{\sum_{i=1}^nvar(x_i^A+\delta_i)/n}\Big]=\beta_1 \cdot\Big[1-\frac{\sigma_{x\delta}+\sigma_{\delta}^2}{\sigma_x^2+2cov(x_i^A,\delta_i)+\sigma_{\delta}^2}\Big] =\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$ , conforme desejado. Portanto, o resultado está bem estabelecido.

E ({\hat{β}}_{1}) = β_{1} \cdot [\frac{σ_{x}^{2} + σ_{x δ}}{σ_{x}^{2} + 2 σ_{x δ} + σ_{δ}^{2}}]

$E(\hat \beta_1)=\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

— son520804
fonte

1

Eu tenho um problema semelhante - publicado aqui - e ainda não tenho uma resposta certa. O que eu fiz no momento é simplesmente reunir um conjunto de Xs muito semelhantes e verificar se há uma grande variação para Y nessas linhas. Outro tipo de abordagem pode ser uma simulação: você usa um único X do seu conjunto de dados, mas replica as linhas seguindo o erro sistemático dos preditores (algo como rnorm (..., 0,0,3)). O intervalo de confiança para a inclinação pode ser algo semelhante ao intervalo sistemático de erros.

— Paolo Nadalutti
fonte

0

Eu recomendaria uma inicialização paramétrica nos dados. Isso significa gerar novos conjuntos de dados semelhantes ao conjunto de dados real, mas diferentes na extensão implícita pela sua incerteza em cada observação.

Aqui está um pseudocódigo para isso. Observe que estou usando entradas de vetor para rnorm, como é normal na linguagem R. Também estou assumindo que o que você está chamando são erros padrão. $\Delta$

For each b in 1...B:
    x_PB = rnorm(x, x_se)
    y_PB = rnorm(y, y_se)
    r[b] = cor(x_PB, y_PB)

Então observe a distribuição dos valores em r.

— rcorty
fonte