Qual é o ponto da análise de séries temporais?

Existem muitos outros métodos estatísticos, como regressão e aprendizado de máquina, que têm casos de uso óbvios: a regressão pode fornecer informações sobre o relacionamento entre duas variáveis, enquanto o aprendizado de máquina é ótimo para previsão.

Mas, enquanto isso, não vejo para que serve a análise de séries temporais. Claro, posso ajustar um modelo ARIMA e usá-lo para previsão, mas de que adianta isso quando os intervalos de confiança para essa previsão forem enormes? Há uma razão pela qual ninguém pode prever o mercado de ações, apesar de ser o setor mais orientado a dados da história mundial.

Da mesma forma, como usá-lo para entender melhor meu processo? Claro, eu posso traçar o ACF e dizer "aha! Há alguma dependência!", Mas e daí? Qual é o objetivo? Claro que há dependência, é por isso que você está fazendo uma análise de séries temporais. Você já sabia que havia dependência . Mas para que você vai usá-lo?

Um uso principal é a previsão . Estou alimentando minha família há mais de uma década agora, prevendo quantas unidades de um produto específico um supermercado venderá amanhã, para que ele possa pedir estoque suficiente, mas não muito. Há dinheiro nisso.

Outros casos de uso de previsão são apresentados em publicações como o International Journal of Forecasting ou Foresight . (Divulgação completa: sou editor associado da prospectiva .)

Sim, às vezes o intervalo de previsão s é enorme. (Suponho que você queira dizer PIs, não intervalos de confiança s. Há uma diferença. ) Isso simplesmente significa que o processo é difícil de prever. Então você precisa mitigar. Na previsão de vendas em supermercados, isso significa que você precisa de muito estoque de segurança. Na previsão do aumento do nível do mar, isso significa que você precisa criar diques mais altos. Eu diria que um grande intervalo de previsão fornece informações úteis.

E para todos os casos de uso de previsão, a análise de séries temporais é útil, embora a previsão seja um tópico maior. Muitas vezes, você pode melhorar as previsões levando em consideração as dependências de suas séries temporais, portanto, é necessário entendê- las por meio de análise, que é mais específica do que apenas saber que existem dependências.

Além disso, as pessoas estão interessadas em séries temporais, mesmo que não prevejam. Econometristas gostam de detectar pontos de mudança em séries temporais macroeconômicas. Ou avalie o impacto de uma intervenção, como uma mudança nas leis tributárias, sobre o PIB ou algo mais. Você pode folhear seu diário de econometria favorito para obter mais inspiração.

Objetivos na análise TS dos slides da lição de M. Dettling:

1) Análise Exploratória: Visualização das propriedades da série

• gráfico de séries temporais
• decomposição em tendência / padrão sazonal / erro aleatório
• correlograma para entender a estrutura de dependência

2) Modelagem: Ajustando um modelo estocástico aos dados que representam e refletem as propriedades mais importantes da série

• exploratório ou com conhecimento prévio
• a escolha do modelo e a estimativa de parâmetros são cruciais
• inferência: quão bem o modelo se ajusta aos dados?

3) Previsão: previsão de observações futuras com medida de incerteza

• principalmente baseado em modelo, usa dados de dependência e anteriores
• é uma extrapolação, portanto, geralmente levar com um grão de sal
• semelhante a dirigir um carro olhando no espelho retrovisor

4) Controle de Processo: A saída de um processo (físico) define uma série temporal

• um modelo estocástico é ajustado aos dados observados
• isso permite entender o sinal e o ruído
• é possível monitorar flutuações normais / anormais

5) Regressão de séries temporais: Modelando séries temporais de resposta usando 1 ou mais séries de entrada Ajustando este modelo sob a premissa de erro iid:

• leva a estimativas imparciais, mas ...
• erros padrão geralmente muito errados
• portanto, intervalos de confiança e testes são enganosos

Sobre o problema marcado de estoque:

• Esses TS são muito voláteis, o que é difícil de modelar.
• Por exemplo, uma mudança em uma lei que diz respeito à empresa pode levar a uma mudança no processo de TS ... como alguma ferramenta estatística prever isso?

Sobre a correlação serial:

• Em contraste com as estatísticas multivariadas, os dados em uma série temporal geralmente não são iiid, mas são correlacionados serialmente.
• Essa informação também pode ser útil para detectar algo que não seja iid, como deveria ser, por exemplo, um instrumento de laboratório sujo

A maneira mais fácil de responder sua pergunta é entender que aproximadamente os conjuntos de dados geralmente são categorizados em seção transversal , série temporal e painel . A regressão transversal é uma ferramenta essencial para os conjuntos de dados transversais. Isso é o que a maioria das pessoas conhece e se refere a um termo regressão . Às vezes, a regressão de séries temporais é aplicada a séries temporais, mas a análise de séries temporais tem uma ampla gama de ferramentas além da regressão.

$(x_1,y_1),(x_2,y_3),\dots,(x_n,y_n)$$x_i,y_i$$y\sim x$$\hat y$$x$

Se a amostra não foi aleatória, a regressão pode não funcionar. Por exemplo, você escolheu apenas meninas na primeira série para estimar o modelo, mas precisa prever a altura de um aluno do 12º ano do sexo masculino. Portanto, a regressão tem seus próprios problemas, mesmo na configuração transversal.

$x_t,y_t$$(x_1,y_1),(x_2,y_3),\dots,(x_n,y_n)$$t$$x,y$

$t$

O terceiro tipo de conjunto de dados comum é um painel, particularmente o com dados longitudinais. Aqui, você pode obter vários instantâneos de variáveis ​​de peso e altura para vários alunos. Esse conjunto de dados pode parecer ondas de seções transversais ou um conjunto de séries temporais.

Naturalmente, isso pode ser mais complicado do que os dois tipos anteriores. Aqui usamos regressão de painel e outras técnicas especiais desenvolvidas para painéis.

Resumindo, a razão pela qual a regressão de séries temporais é considerada uma ferramenta distinta em comparação com a regressão transversal é que as séries temporais apresentam desafios únicos quando se trata de suposições de independência da técnica de regressão. Particularmente, devido ao fato de que, diferentemente da análise transversal, a ordem das observações é importante, geralmente leva a todos os tipos de estruturas de correlação e dependência, que às vezes podem invalidar a aplicação de técnicas de regressão. Você precisa lidar com a dependência, e é exatamente nisso que a análise de séries temporais é boa.

Previsibilidade dos preços dos ativos

Além disso, você está repetindo um equívoco comum sobre mercados de ações e preços de ativos em geral, de que eles não podem ser previstos. Esta afirmação é geral demais para ser verdadeira. É verdade que você não pode prever de maneira confiável o próximo tick da AAPL. No entanto, é um problema muito estreito. Se você expandir sua rede mais amplamente, descobrirá muitas oportunidades de ganhar dinheiro usando para todos os tipos de previsão (e análise de séries temporais em particular). A arbitragem estatística é um desses campos.

Agora, a razão pela qual é difícil prever os preços dos ativos no curto prazo se deve ao fato de que um grande componente das alterações de preços são novas informações. A informação verdadeiramente nova que não pode ser concebida realisticamente do passado é, por definição, impossível de prever. No entanto, esse é um modelo idealizado, e muitas pessoas argumentariam que existem anomalias que permitem a persistência do estado. Isso significa que a parte da mudança de preço pode ser explicada pelo passado. Nesses casos, a análise de séries temporais é bastante apropriada porque lida com precisão com persistência. Separa o novo do antigo, é impossível prever o novo, mas o antigo é arrastado do passado para o futuro. Se você pode explicar um pouco, em finanças, significa que você podeser capaz de ganhar dinheiro. Enquanto o preço da estratégia construída em tais previsões cobrir a receita gerada por ela.

Por fim, dê uma olhada no prêmio Nobel de Economia em 2013 : "é bem possível prever o curso amplo desses preços por períodos mais longos, como os próximos três a cinco anos". Dê uma olhada na palestra nobre de Shiller , ele discute a previsibilidade dos preços dos ativos.

A análise de séries temporais também pode contribuir para a anomalia eficaz ou a detecção de valores extremos em dados temporais.

Como exemplo, é possível ajustar um modelo ARIMA e calcular um intervalo de previsão. Dependendo do caso de uso, o intervalo pode ser usado para definir um limite, dentro do qual o processo pode estar sob controle; se novos dados estiverem fora do limite, eles serão sinalizados para mais atenção.

Esta postagem do blog tem uma breve e ampla visão geral da análise de séries temporais para detecção de valores extremos. Para um tratamento mais aprofundado, os pesquisadores do ebay explicam como eles realizaram a detecção de anomalias em escala com base na análise estatística de dados de séries temporais.

Existem muitos outros métodos estatísticos, como regressão e aprendizado de máquina, que têm casos de uso óbvios: a regressão pode fornecer informações sobre o relacionamento entre duas variáveis, enquanto o aprendizado de máquina é ótimo para previsão.

Você responde sua própria pergunta, abaixo: autocorrelação. As séries temporais costumam tê-lo, violando uma suposição de regressão básica do OLS. As técnicas de séries temporais têm as premissas apropriadas para séries temporais.

Os métodos de aprendizado de máquina que lidam com dados seqüenciais são especializados, como redes neurais recorrentes (RNNs) ou redes neurais convolucionais 1-D (CNNs), então você ainda tem técnicas especializadas para séries temporais.

Mas, enquanto isso, não vejo para que serve a análise de séries temporais. Claro, posso ajustar um modelo ARIMA e usá-lo para previsão, mas de que adianta isso quando os intervalos de confiança para essa previsão forem enormes? Há uma razão pela qual ninguém pode prever o mercado de ações, apesar de ser o setor mais orientado a dados da história mundial.

Os intervalos de confiança (ICs) resultantes de uma técnica de série temporal provavelmente serão maiores que os de uma regressão que não seja de série temporal. Esse recurso é conhecido como preciso. Em geral, quando você usa uma regressão que não seja de série temporal, seu IC será menor, mas está incorreto porque você violou suas suposições. Se tudo o que você deseja fazer é apresentar um gráfico com ICs pequenos, crie-os ou ignore-os completamente, mas se você desejar ICs apropriados, use técnicas apropriadas.

É difícil prever o mercado de ações por causa de sua natureza. Outras séries temporais são muito mais previsíveis. Tente usar sua técnica de aprendizado de máquina preferida no mercado de ações e duvido que você tenha mais sucesso.

Da mesma forma, como usá-lo para entender melhor meu processo? Claro, eu posso traçar o ACF e dizer "aha! Há alguma dependência!", Mas e daí? Qual é o objetivo? Claro que há dependência, é por isso que você está fazendo uma análise de séries temporais. Você já sabia que havia dependência. Mas para que você vai usá-lo?

Prever. Para ver a sazonalidade. Ter uma idéia sobre a variabilidade dos dados em diferentes estações do ano. Sem mencionar que existem técnicas mais poderosas de séries temporais do que o ARIMA da velha escola, como os métodos do State Space. O ARIMA não é a melhor técnica para modelar séries temporais. (De fato, o procedimento ARIMA no seu software estatístico de escolha provavelmente está usando uma representação do State Space sob o capô.)

Para adicionar um pouco de cor à resposta de detecção de anomalias dos redhqs, no trabalho construo modelos de detecção de anomalias para métricas operacionais, como fluxos de vendas e tráfego. Fazemos a análise de séries temporais para entender quais devem ser as vendas se tudo estiver funcionando conforme o esperado e, em seguida, comparamos com os valores observados para verificar se o site está quebrado. É importante porque a cada minuto que o site está inoperante, estamos perdendo muito dinheiro.

Existem métodos diferentes que você pode usar e métodos diferentes tentam realizar coisas diferentes em muitos casos. Por exemplo, o principal método estatístico usado para a detecção de anomalias de vendas é chamado "STL" (decomposição de tendências sazonais usando loess). Isso separa a sazonalidade regular, a tendência e o ruído aleatório. Na verdade, usamos isso para identificar sazonalidades diárias e semanais. Então jogamos fora o barulho e combinamos a tendência / sazonalidade para estimar as vendas esperadas. Portanto, no nosso caso, usamos a abordagem para entender como as vendas variam com a hora do dia e a hora da semana e excluir o ruído aleatório das estimativas.

Além das excelentes respostas fornecidas por outros, gostaria de comentar como as análises de séries temporais são usadas na engenharia elétrica.

Uma grande parte da engenharia elétrica consiste em modular tensões e correntes para transmitir informações ou usar sensores para converter um sinal físico (como uma onda sonora) em uma forma elétrica, a partir da qual se espera que um computador tome uma decisão. Um conversor de analógico para digital (A / D) converte esses sinais em um conjunto de amostras discretas com espaçamento uniforme (no tempo) ou em uma série temporal! Os métodos de análise de séries temporais são a base de quase todos os algoritmos modernos de processamento de sinais.

Por exemplo, o processamento de fala consiste em usar um microfone para converter uma onda sonora em uma voltagem elétrica, que é amostrada por um A / D, após o qual é criado um modelo de série temporal do sinal. Por exemplo, codificadores preditivos lineares (LPC) em telefones celulares criam um modelo ARMA das palavras sendo faladas e transmitem os coeficientes do modelo (junto com um índice que representa um sinal de excitação de um dicionário predefinido) em vez das próprias amostras de dados para obter compressão de dados.