Estou ciente do tipo de regularização LASSO, cume e rede elástica em modelos de regressão linear.

Questão:

1. Esse tipo de estimativa penalizada (ou similar) pode ser aplicada à modelagem ARIMA (com uma parte MA não vazia)?

$p_{max}$$q_{max}$ q ⩽ q m um $p \leqslant p_{max}$$q \leqslant q_{max}$

Minhas perguntas adicionais são:

2. Poderíamos incluir todos os termos até ( , ), mas penalizar o tamanho dos coeficientes (potencialmente até zero)? Isso faria sentido? q m a $p_{max}$$q_{max}$
3. Se fosse, isso foi implementado no R ou em outro software? Se não, qual foi o problema?

Um post um pouco relacionado pode ser encontrado aqui .

Resposta à pergunta 1.

Chen & Chan "Seleção do subconjunto ARMA via Lasso adaptável" (2011) * usa uma solução alternativa para evitar a estimativa de probabilidade máxima máxima exigida computacionalmente. Citando o jornal, eles

proponha encontrar um modelo ARMA de subconjunto ideal ajustando uma regressão adaptativa de Lasso da série temporal em seus próprios atrasos e os resíduos que são obtidos ao ajustar uma regressão automática longa aos y t s. <...> [U] sob condições de regularidade moderada, o método proposto obtém as propriedades do oráculo, ou seja, identifica o modelo ARMA do subconjunto correto com probabilidade tendendo a um à medida que o tamanho da amostra aumenta para o infinito, e <...> o os estimadores dos coeficientes diferentes de zero são assintoticamente normais, com a distribuição limitante a mesma que quando os coeficientes zero são conhecidos a priori.$y_t$$y_t$

Opcionalmente, eles sugerem a estimativa de probabilidade máxima e o diagnóstico de modelo para o (s) modelo (s) de subconjunto selecionado (s) ARMA.

Wilms et al. "A identificação esparsa e a estimativa de médias móveis auto-regressivas de vetor de alta dimensão" (2017) fazem ainda mais do que eu pedi. Em vez de um modelo ARIMA univariado, eles pegam um vetor ARMA (VARMA) em altas dimensões e usam uma penalidade para estimativa e seleção de ordem de atraso. Eles apresentam o algoritmo de estimação e desenvolvem alguns resultados assintóticos.$L_1$

Em particular, eles empregam um procedimento de duas etapas. Considere-se um modelo VARMA que tem de ser estimada, mas a ordens lag p e q são uknown.

• No Estágio 1, eles aproximam o modelo VARMA por um modelo VAR de alta ordem e estimam-no usando um estimador HAR-hierárquico VAR, que coloca uma penalidade hierárquica de lastro de grupo hierárquica baseada em lag nos parâmetros auto-regressivos.
  (A ordem de atraso está definida como . As equações do modelo são estimadas em conjunto e a norma de Frobenius dos erros| | y - y | | F 2 é minimizada com uma pena de grupo hierárquica-lasso sobre os coeficientes de regressão). Obtêm resíduos £ :=y - y para ser usada como substitutos para os verdadeiros erros na Fase 2.$\lfloor 1.5\sqrt{T} \rfloor$$||y-\hat y||_2^F$
  $\hat\varepsilon := y - \hat y$

• $$y_t = \sum_{l=1}^{\hat p} \Phi_l y_{t-l} + \sum_{m=1}^{\hat q} \Theta_m \hat\varepsilon_{t-m} + u_t,$$
  $\hat p$$\hat q$$\lfloor 1.5\sqrt{T} \rfloor$

A abordagem de Wilms et al. é implementado no pacote R "bigtime" .

Referências

• Chen, K. & Chan, KS (2011). Seleção do subconjunto ARMA através do Lasso adaptável. Estatísticas e sua Interface , 4 (2), 197-205.
• Wilms, I., Basu, S., Bien, J., & Matteson, DS (2017). Identificação esparsa e estimativa de médias móveis auto-regressivas de vetor de alta dimensão. pré-impressão do arXiv arXiv: 1707.09208.

^{* Obrigado a @hejseb pelo link.}