Processo AR (1) com erros de medição heterocedásticos

1. O problema

Eu tenho algumas medidas de uma variável , onde , para a qual eu tenho uma distribuição obtida via MCMC, que por simplicidade assumirei ser um gaussiano de média e variância \ sigma_t ^ 2 .$y_t$$t=1,2,..,n$$f_{y_t}(y_t)$$\mu_t$$\sigma_t^2$

Eu tenho um modelo físico para essas observações, digamos $g(t)$ , mas os resíduos $r_t = \mu_t-g(t)$ parecem estar correlacionados; em particular, tenho razões físicas para pensar que um processo de $AR(1)$ será suficiente para levar em consideração a correlação e planejo obter os coeficientes do ajuste via MCMC, para os quais preciso da probabilidade . Acho que a solução é bastante simples, mas não tenho muita certeza (parece tão simples que acho que estou perdendo alguma coisa).

2. Derivando a probabilidade

Um processo com média zero pode ser escrito como: em que assumirei . Os parâmetros a serem estimados são, portanto, (no meu caso, também tenho que adicionar os parâmetros do modelo , mas esse não é o problema). O que observo, no entanto, é a variável em que estou assumindo e são conhecidos (o erros de medição). Como é um processo gaussiano, também é. Em particular, eu sei que X t = ϕ X t - 1 + ε t , ( 1 ) ε t ∼ N ( 0 , σ 2 w ) θ = { ϕ , σ 2 w } g ( t ) R t = X t + η t , ( 2 ) η t ∼ N $AR(1)$

$$X_t = \phi X_{t-1}+\varepsilon_t,\ \ \ (1)$$ $\varepsilon_t\sim N(0,\sigma_w^2)$$\theta = \{\phi,\sigma_w^2\}$$g(t)$ $$R_t = X_t+\eta_t,\ \ \ (2)$$ σ 2 t X t R t X 1 ∼ N ( 0 , σ 2 w / [ 1 - ϕ 2 ] ) , R 1 ∼ N ( 0 , σ 2 w / [ 1 - ϕ 2 ] + σ 2 t ) . R t | R t $\eta_t\sim N(0,\sigma_t^2)$$\sigma_t^2$$X_t$$R_t$ $$X_1 \sim N(0,\sigma_w^2/[1-\phi^2]),$$ portanto, O próximo desafio é obter para . Para derivar a distribuição dessa variável aleatória, observe que, usando a eq. Eu posso escrever Usando a eq. e usando a definição da eq. , eu posso escrever, Usando a eq. nessa última expressão, obtenho portanto, $$R_1 \sim N(0,\sigma_w^2/[1-\phi^2]+\sigma_t^2).$$ t≠1(2) X t - 1 = R t - 1 - η t - 1 . (3)(2)(1) R t = X t + η t =φ X t - 1 + ε t + η t . (3) R t =ϕ($R_t|R_{t-1}$$t\neq 1$$(2)$ $$X_{t-1} = R_{t-1}-\eta_{t-1}.\ \ \ (3)$$ $(2)$$(1)$ $$R_{t} = X_t+\eta_t = \phi X_{t-1}+\varepsilon_{t}+\eta_t.$$ $(3)$ $$R_{t} = \phi (R_{t-1}-\eta_{t-1})+\varepsilon_{t}+\eta_t,$$ $$R_t|R_{t-1} = \phi (r_{t-1}-\eta_{t-1})+\varepsilon_{t}+\eta_t,$$ e, portanto, Finalmente, eu posso escrever a função de probabilidade como onde são as distribuições das variáveis ​​que acabei de definir, .ie, definindo e definindo , $$R_t|R_{t-1} \sim N(\phi r_{t-1},\sigma_w^2+\sigma_t^2-\phi^2\sigma^2_{t-1}).$$ $$L(\theta) = f_{R_1}(R_1=r_1) \prod_{t=2}^{n} f_{R_{t}|R_{t-1}}(R_t=r_t|R_{t-1}=r_{t-1}),$$ $f(\cdot)$$\sigma'^2 = \sigma_w^2/[1-\phi^2]+\sigma_t^2,$ $$f_{R_1}(R_1=r_1) = \frac{1}{\sqrt{2\pi \sigma'^2}}\text{exp}\left(-\frac{r_1^2}{2\sigma'^2}\right),$$ $\sigma^2(t) = \sigma_w^2+\sigma_t^2-\phi^2\sigma^2_{t-1}$ $$f_{R_{t}|R_{t-1}}(R_t=r_t|R_{t-1}=r_{t-1})=\frac{1}{\sqrt{2\pi \sigma^2(t)}}\text{exp}\left(-\frac{(r_t-\phi r_{t-1})^2}{2\sigma^2(t)}\right)$$

3. Questões

1. Minha derivação está correta? Não tenho outros recursos para comparar além de simulações (que parecem concordar) e não sou estatístico!
2. Existe alguma derivação desse tipo de coisa na literatura para os processos ou ? $MA(1)$$ARMA(1,1)$Um estudo para os processos em geral que poderiam ser particularizados neste caso seria bom.$ARMA(p,q)$

1. Você está no caminho certo, mas cometeu um erro ao derivar a distribuição de dado : a média condicional não é . É , onde é sua melhor estimativa de do período anterior. O valor de inclui informações de observações anteriores, bem como . (Para ver isso, considere uma situação em que e são desprezíveis, portanto você está efetivamente estimando uma média fixa. Depois de muitas observações, sua incerteza sobre será muito menor do que$R_t$$R_{t-1}$$\phi r_{t-1}$$\phi \widehat{x}_{t-1}$$\widehat{x}_{t-1}$$X$$\widehat{x}_{t-1}$$r_{t-1}$$\sigma_w$$\phi$$X$$\sigma_{\eta}$ .) Isto pode ser confuso no início, porque você observar e não . Isso significa apenas que você está lidando com um modelo de espaço de estado .$R$$X$

2. Sim, existe uma estrutura muito geral para o uso de modelos gaussianos lineares com observações ruidosas, chamada filtro de Kalman . Isso se aplica a qualquer coisa com uma estrutura ARIMA e muitos outros modelos também. Variação no tempo é válida para o filtro Kalman, desde que não seja estocástico. Modelos com, por exemplo, volatilidade estocástica precisam de métodos mais gerais. Para ver como o filtro Kalman é derivado, tente Durbin-Koopman ou o capítulo 3 de Harvey . Na notação de Harvey, seu modelo possui , , , , e .$\sigma_{\eta}$$Z=1$$d=c=0$$H_t = \sigma_{\eta,t}^2$$T=\phi$$R=1$$Q=\sigma^2_w$

Honestamente, você deve codificar isso em BUGs ou STAN e não se preocupar com isso a partir daí. A menos que seja uma questão teórica.