Inferência no modelo linear com heterocedasticidade condicional

Suponha que eu observe vetores variáveis independentes e e a variável dependente . Gostaria de ajustar um modelo do formulário: que é uma função com duas funções diferenciáveis de valor positivo, é um parâmetro de escala desconhecido e é uma variável aleatória gaussiana de média variável e variação zero (assumida como independente de e ). Essa é essencialmente a configuração do teste de heterocedasticidade de Koenker (pelo menos até onde eu entendo). $\vec{x}$ $\vec{z}$ $y$

y = {\vec{x}}^{⊤} \vec{β_{1}} + σ g ({\vec{z}}^{⊤} \vec{β_{2}}) ϵ,

$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$

g

$g$

σ

$\sigma$

ϵ

$\epsilon$

\vec{x}

$\vec{x}$

\vec{z}

$\vec{z}$

Tenho de observações de e , e gostaria de estimar e . Eu tenho alguns problemas, no entanto: $n$ $\vec{x}, \vec{z}$ $y$ $\vec{\beta_1}$ $\vec{\beta_2}$

Não sei ao certo como colocar o problema de estimativa como algo como mínimos quadrados (presumo que exista um truque conhecido). Meu primeiro palpite seria algo como mas eu não tenho certeza de como resolver isso numericamente (talvez um método quase-Newton iterativo possa resolver). $m i n_{\vec{β_{1}}, \vec{β_{2}}} (\sum_{i = 1}^{n} \frac{{(y_{i} - {\vec{x_{i}}}^{⊤} \vec{β_{1}})}^{2}}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}}) {(\sum_{i = 1}^{n} \frac{1}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}})}^{- 1},$ $min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$
Supondo que eu possa colocar o problema de maneira sã e encontrar algumas estimativas , eu gostaria de saber a distribuição das estimativas para que, por exemplo, eu possa realizar testes de hipótese. Eu ficaria bem em testar os dois vetores de coeficiente separadamente, mas preferiria uma maneira de testar, por exemplo , para determinado . $\hat{\beta}_1, \hat{\beta}_2$ $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$ $\vec{w_1}, \vec{w_2}, c$

— shabbychef
fonte

Boa pergunta. Você tem uma idéia de como é o ? é suave? tem saltos? Em vez de mínimos quadrados você tem tentei máxima verossimilhança (você sabe este papel projecteuclid.org/... ?)

g

$g$

— robin Girard

@robin girard: O MLE é uma boa idéia para a pergunta 1. Eu suspeito que, por erros gaussianos, o MLE fornecerá estimativas idênticas às da minha minimização ad hoc . Quanto a , como observei, podemos assumir que é de valor positivo e duas vezes diferenciável. Provavelmente, podemos assumir que é convexo também, e talvez possamos assumir que é analítico.

g

$g$

— 31511 shabbychef

Em um contexto um pouco mais geral com um vetor dimensional de observações- (as respostas ou variáveis dependentes), e matriz de observações- (covariáveis ou variáveis dependentes) e os parâmetros tais que então a probabilidade de menos log é Na pergunta do OP, é diagonal com $Y$ $n$ $y$ $X$ $n \times p$ $x$ $\theta = (\beta_1, \beta_2, \sigma)$ $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$

l (β_{1}, β_{2}, σ) = \frac{1}{2} (Y - X β_{1})^{T} Σ (β_{2}, σ)^{- 1} (Y - X β_{1}) + \frac{1}{2} \log | Σ (β_{2}, σ) |

$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$

Σ (β_{2}, σ)

$\Sigma(\beta_2, \sigma)$

Σ (β_{2}, σ)_{i i} = σ^{2} g (z_{i}^{T} β_{2})^{2}

$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$ para que o determinante se torne e a probabilidade menos logarítmica resultante se torna Existem várias maneiras de abordar a minimização dessa função (supondo que os três parâmetros sejam independentes de variação).

σ^{2 n} \prod_{i = 1}^{n} g (z_{i}^{T} β_{2})^{2}

$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$

\frac{1}{2 σ^{2}} \sum_{i = 1}^{n} \frac{(y_{i} - x_{i}^{T} β_{1})^{2}}{g (z_{i}^{T} β_{2})^{2}} + n \log σ + \sum_{i = 1}^{n} \log g (z_{i}^{T} β_{2})

$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$

Você pode tentar minimizar a função usando um algoritmo de otimização padrão, lembrando a restrição que . $\sigma > 0$
Você pode calcular o perfil com menos log-verossimilhança de minimizando over para fixo e, em seguida, conecte a função resultante a um algoritmo de otimização irrestrito padrão. $(\beta_1, \beta_2)$ $\sigma$ $(\beta_1, \beta_2)$
Você pode alternar entre otimizar sobre cada um dos três parâmetros separadamente. A otimização de over pode ser feita analiticamente, otimizar over é um problema de regressão de mínimos quadrados ponderados e otimizar over é equivalente a ajustar um modelo linear generalizado gama com no link inverso. $\sigma$ $\beta_1$ $\beta_2$ $g^2$

A última sugestão me agrada porque se baseia em soluções que eu já conheço bem. Além disso, a primeira iteração é algo que eu consideraria fazer de qualquer maneira. Ou seja, primeiro calcule uma estimativa inicial de por mínimos quadrados comuns, ignorando a heterocedasticidade potencial, e depois ajuste um gamma glm aos resíduos quadrados para obter uma estimativa inicial de apenas para verificar se o modelo mais complicado parece valer a pena. Iterações que incorporam a heterocedasticidade na solução de mínimos quadrados, uma vez que os pesos podem melhorar a estimativa. $\beta_1$ $\beta_2$ $-$

Em relação à segunda parte da pergunta, eu provavelmente consideraria calcular um intervalo de confiança para a combinação linear usando os assintóticos padrão do MLE (verificando com simulações se os assintóticos funcionam) ou usando bootstrap. $w_1^T\beta_1 + w_2^T\beta_2$

Edit: Por padrão MLE assintóticos, quero dizer usando a aproximação normal multivariada para a distribuição do MLE com matriz de covariância a informação inversa de Fisher. A informação de Fisher é, por definição, a matriz de covariância do gradiente de . Depende em geral dos parâmetros. Se você puder encontrar uma expressão analítica para essa quantidade, tente conectar o MLE. Como alternativa, você pode estimar as informações de Fisher pelas informações observadas de Fisher, que é o Hessian de no MLE. Seu parâmetro de interesse é uma combinação linear dos parâmetros nos dois $l$ $l$ $\beta$ -vetores, portanto, a partir do normal multivariado aproximado do MLE, você pode encontrar uma aproximação normal da distribuição dos estimadores, conforme descrito aqui . Isso gera um erro padrão aproximado e você pode calcular intervalos de confiança. Está bem descrito em muitos livros de estatística (matemática), mas uma apresentação razoavelmente acessível que posso recomendar é In All Likelihood, de Yudi Pawitan. De qualquer forma, a derivação formal da teoria assintótica é bastante complicada e depende de várias condições de regularidade, e fornece apenas informações assintóticas válidas.distribuições. Portanto, em caso de dúvida, eu sempre faria algumas simulações com um novo modelo para verificar se posso confiar nos resultados para parâmetros realísticos e tamanhos de amostra. Um bootstrap simples e não paramétrico, no qual são amostrados os triplos do conjunto de dados observado com substituição, pode ser uma alternativa útil se o procedimento de ajuste não consumir muito tempo. $(y_i,x_i,z_i)$

— NRH
fonte

quais são os assintóticos padrão do MLE?

— 31511 shabbychef

@shabbychef, já era tarde. Eu dei uma explicação mais detalhada. Observe que, para que os assintóticos funcionem na teoria, conforme explicado, o modelo precisa estar correto e o estimador deve ser o MLE. Resultados mais gerais podem ser obtidos no quadro de funções gerais de estimativa e equações de estimativa, veja, por exemplo, o livro Quase-probabilidade e ... de Heyde.

— NRH 01/09/11