Uso duvidoso dos princípios de processamento de sinal para identificar uma tendência

Estou propondo tentar encontrar uma tendência em alguns dados de longo prazo muito barulhentos. Os dados são basicamente medições semanais de algo que se moveu cerca de 5 mm durante um período de cerca de 8 meses. Os dados são de 1mm de precisão e são muito barulhentos mudando regularmente +/- 1 ou 2mm em uma semana. Temos apenas os dados no mm mais próximo.

Planejamos usar algum processamento básico de sinal com uma transformação rápida de Fourier para separar o ruído dos dados brutos. A suposição básica é que, se espelharmos nosso conjunto de dados e o adicionarmos ao final de nosso conjunto de dados existente, podemos criar um comprimento de onda completo dos dados e, portanto, nossos dados aparecerão em uma rápida transformação de quatro camadas e, esperançosamente, poderemos separá-lo .

Dado que isso me parece um pouco duvidoso, vale a pena purificar esse método ou é o método de espelhar e anexar nosso conjunto de dados de alguma forma fundamentalmente defeituoso? Estamos analisando outras abordagens, como o uso de um filtro passa-baixo também.

Parece desonesto para mim, pois a estimativa de tendência será tendenciosa perto do ponto em que você divide os dados falsos. Uma abordagem alternativa é uma regressão não paramétrica mais suave, como loess ou splines.

Se você deseja filtrar a tendência de longo prazo usando o processamento de sinais, por que não usar apenas um passa-baixo?

A coisa mais simples que consigo pensar seria uma média móvel exponencial.

Eu acho que você pode obter alguma distorção no ponto de colagem, pois nem todas as ondas subjacentes se conectam muito bem.

Eu sugeriria usar uma transformação de Hilbert Huang para isso. Basta dividir as funções no modo intrínseco e ver o que resta como resíduo ao calculá-las.

Você pode usar a transformação de wavelet discreta (rápida :)) . O pacote wavethresh sob R fará todo o trabalho. Enfim, eu gosto da solução do @James porque é simples e parece ir direto ao ponto.

Na maioria das vezes, quando ouço "tendência de longo prazo", penso em tendências ascendentes ou descendentes de longo prazo , nenhuma das quais é capturada adequadamente por uma transformação de Fourier. Essas tendências de mão única são melhor analisadas usando regressão linear . (Transformadas de Fourier e periodogramas são mais apropriados para coisas que sobem e descem).

A regressão linear é fácil de fazer na maioria das planilhas. (a) Exibir equações para linhas de regressão (b) Criando gráficos de dispersão XY com planilhas

A regressão linear tenta aproximar seus dados com uma linha reta. As transformações de Fourier tentam aproximar seus dados com algumas ondas senoidais adicionadas. Existem outras técnicas ("regressão não linear") que tentam aproximar seus dados a polinômios ou outras formas.

A transformada de Fourier assume a estacionariedade do sinal de sentido amplo e a invariância linear do tempo (LTI). Embora seja robusto a alguma violação dessas condições, eu realmente não acho apropriado para a análise de tendências devido à suposição de estacionariedade, ou seja, você está tentando medir algo que viola uma das suposições básicas da FFT.

Eu concordo com os pôsteres acima; espelhar seus dados e adicionar os dados espelhados ao final de suas séries temporais é desonesto. Eu sugeriria que ajustar um modelo de regressão linear com uma tendência temporal como mencionado acima é provavelmente mais apropriado.

Se você estivesse procurando examinar a periodicidade, poderia remover a tendência filtrando com alta frequência e realizando uma análise de Fourier. Se a tendência permanecer visível após a filtragem, você poderá subtrair uma linha de regressão linear ajustada do sinal original antes da FFT.