Estimativa de máxima verossimilhança na presença de ruído colorido

Estou tentando testar a identificação do sistema na presença de ruído de medição (1) Um ruído gaussiano branco (2) Ruído colorido - rosa, violeta. Quando estimamos parâmetros, fazemos isso na presença de iid, zero significa ruído não correlacionado.

Q1: Gostaria de saber se o ruído colorido está correlacionado ou não. Eu acho que eles têm distribuição diferente, mas não consegui encontrar nenhuma informação se as amostras serão correlacionadas ou não.

Q2: Na estimativa, assumimos que o ruído é um ruído gaussiano branco aditivo que é iid não correlacionado. O que acontece quando o ruído não é gaussiano, como estimamos teta? Por exemplo: $x = s(\theta) + Colored noise$ onde estamos tentando estimar $\theta$ . O desempenho, ou seja, o MSE varia com os diferentes níveis de ruído colorido e não colorido?

noise estimation maximum-likelihood-estimation

— Ria George
fonte

ruído "de cor" é sobre o espectro de potência, e não a distribuição ou pdf, na verdade, um pdf condicional faz ter algo a ver com o espectro, mas não o pdf incondicional

— Robert Bristow-johnson

@ robertbristow-johnson: Na resposta abaixo, o pdf é sempre considerado gaussiano para ruído colorido?

— Ria George

nem sempre, mas geralmente. um contra-exemplo simples é o pontilhamento triangular passa-pdf

y [n]

$y[n]$ formado a partir de ruído uniforme "branco" em pdf

x [n]

$x[n]$ (o que vem de uma boa rand()função) da seguinte forma:

y [n] = x [n] - x [n - 1 1]

$y[n] = x[n] - x[n-1]$ que é de cor ruído (menos espectro de frequências baixas), mas não é pdf gaussian, é pdf triangular

— Robert Bristow-johnson

Amostras de ruído colorido (obtidas em momentos diferentes) geralmente são variáveis aleatórias correlacionadas porque a função de autocorrelação do processo de ruído não é uma função delta, como no caso do ruído branco. Assim, se assumirmos um processo de média zero (geralmente se supõe que o ruído seja independente de sua cor), a covariância de dois sinais separados no tempo por $\tau$ segundos é $R(\tau)$ Onde $R(t) = \mathcal F^{-1}(S(f)$ é a função de autocorrelação do processo (transformada inversa de Fourier da densidade espectral de potência). Note que isso é possível para $R(t)$ para zero para alguns valores de $t$ (por exemplo: $R(t) = \operatorname{sinc}(t)$ é uma função de autocorrelação válido), mas não pode ser zero para todos diferente de zero $t$ .

Quanto à função de densidade de qualquer amostra, se o processo for gaussiano, a amostra é gaussiana, mesmo que o processo tenha sido filtrado com um filtro linear antes da amostragem. Mas se o processo não é gaussiano (digamos, LaPlacian), então, embora cada amostra seja LaPlacian, o mesmo não pode ser dito geralmente sobre amostras do processo após a filtragem de qualquer tipo. Em outras palavras, o Gaussianity sobrevive à filtragem linear, o LaPlacism geralmente não.

Então, como funciona a estimativa de probabilidade máxima quando as amostras têm ruído correlacionado? Considere o caso em que desejamos estimar a média desconhecida de um $\mathcal N(\mu, 1)$ variável aleatória e temos duas observações $x$ e $y$ . No caso padrão de observações independentes, a função de probabilidade é

eu (μ) = \frac{1 1}{2 π} \exp (- \frac{1 1}{2} [(x - μ)^{2} + (y - μ)^{2}]) .

$L(\mu) = \frac{1}{2\pi}\exp\left(-\frac{1}{2}\left[(x-\mu)^2+(y-\mu)^2\right]\right).$ O estimador de máxima verossimilhança para

μ

$\mu$ é o número

\hat{μ}

$\hat{\mu}$ que maximiza

L (μ)

$L(\mu)$ , que funciona como o número

\hat{μ}

$\hat{\mu}$ que minimiza

(x - μ)^{2} + (y - μ)^{2}

$(x-\mu)^2+(y-\mu)^2$ . Este é um quadrático em

μ

$\mu$ e a estimativa de máxima verossimilhança acaba sendo

\hat{μ} = \frac{x + y}{2}

$\hat{\mu}=\frac{x+y}{2}$ . Quando as observações estão correlacionadas com o coeficiente de correlação

ρ

$\rho$ , então

eu (μ) = \frac{1 1}{2 π \sqrt{1 1 - ρ^{2}}} \exp (- \frac{1 1}{2 \sqrt{1 1 - ρ^{2}}} [(x - μ)^{2} - 2 ρ (x - μ) (y - μ) + (y - μ)^{2}]) .

$L(\mu) = \frac{1}{2\pi\sqrt{1-\rho^2}} \exp\left(-\frac{1}{2\sqrt{1-\rho^2}} \left[(x-\mu)^2-2\rho(x-\mu)(y-\mu)+(y-\mu)^2\right]\right).$ Mais uma vez, precisamos encontrar o

\hat{μ}

$\hat{\mu}$ Onde

(x - μ)^{2} - 2 ρ (x - μ) (y - μ) + (y - μ)^{2}

$(x-\mu)^2-2\rho(x-\mu)(y-\mu)+(y-\mu)^2$ tem um mínimo. Ainda temos um quadrático em

μ

$\mu$ mas agora temos termos como

x y

$xy$ nos coeficientes. o que

\hat{μ}

$\hat{\mu}$ funciona para ser deixado para você trabalhar.

E se tivermos $n$ observações onde $n > 2$ ? Todas as opções acima ainda se aplicam. Para ruído gaussiano de distribuição idêntica independente nas amostras, a média da amostra $n^{-1}\sum_i x_i$ é a estimativa de probabilidade máxima de $\mu$ mas no caso de variáveis aleatórias gaussianas correlacionadas, temos problemas de minimização muito confusos, porque o quadrático que estamos tentando minimizar depende do inverso da matriz de covariância e o resultado é uma função não linear dos dados em vez de uma simples tarefa fácil de lembre-se do resultado como a média da amostra.

E se o barulho não for gaussiano? Os mesmos princípios se aplicam - configure a função de verossimilhança e descubra onde ela atinge seu valor máximo - mas os cálculos são um pouco diferentes, tudo dependendo do que você assume ou sabe que é a densidade conjunta das observações.

— Dilip Sarwate
fonte