Decomposição MSE para variância e viés quadrado

Ao mostrar que o MSE pode ser decomposto em variação mais o quadrado do viés, a prova na Wikipedia tem um passo, destacado na figura. Como é que isso funciona? Como a expectativa é introduzida no produto da 3ª para a 4ª etapa? Se os dois termos forem independentes, a expectativa não deve ser aplicada a ambos os termos? e se não estiverem, esta etapa é válida? insira a descrição da imagem aqui

random-variable expected-value mse

— statBeginner
fonte

Respostas:

O truque é que é uma constante. $\mathbb{E}(\hat{\theta}) - \theta$

— AdamO
fonte

Ah eu vejo. O único desconhecido aqui é o estimador. Direita?

— statBeginner

Sim. Tomando expectativa, significa que o estimador vai para o que está estimando, é isso que faz com que o chegue a 0.

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

— AdamO

Desculpe, essa frase não faz muito sentido para mim. Se um estimador fosse ao que estava estimando, isso não o tornaria imparcial? Pode ser explicado dizendo = = = 0?

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

— user1158559

@ user1158559 o termo produto no meio é um vezes constantes algo com valor esperado 0. Mesmo se theta-hat é tendenciosa, ainda é uma constante vezes 0.

— Adamo

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$ é uma variável e não uma constante. Além disso, o truque é menos trivial e com uma constante não se torna 0 como padrão (por exemplo, ). O verdadeiro truque está no fato de que é a constante (e pode ser retirada de uma integral), então

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

— Sextus Empiricus

A resposta de Adam está correta sobre o truque de é uma constante. No entanto, ajuda a encontrar o resultado final e não explica claramente a pergunta sobre a etapa específica no artigo da Wikipedia (editar: o que vejo agora era ambíguo quanto ao destaque e à etapa da linha três à linha quatro). $E(\hat{\theta}) - \theta$

(observe que a pergunta é sobre a variável , que difere da constante na resposta de Adam. Escrevi isso errado no meu comentário. Expandindo os termos para obter mais clareza: a variável é a estimativa , constantes são a expectativa dessa estimativa e o verdadeiro valor ) $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

Truque 1: considere

a variável $x=\hat{\theta}$

a constante $a=\mathbb{E}\left[ \hat{\theta} \right]$

e a constante $b = \theta$

Então a relação pode ser escrita facilmente usando as regras de transformação que expressam os momentos da variável sobre em termos dos momentos da variável sobre . $x$ $b$ $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

Truque 2: No segundo momento, a fórmula acima tem três termos na soma. Podemos eliminar um deles (o caso ) porque $i=1$ $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

Aqui também se pode argumentar com algo sendo uma constante. Ou seja, se for uma constante e usando , que é uma constante, você obtém . $\mathbb{E}(a)=a$ $a$ $a=\mathbb{E}(\theta)$ $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

Mais intuitivamente: fizemos o momento de aproximadamente , igual a um momento central (e os momentos centrais ímpares são zero). Temos um pouco de tautologia. Subtraindo a média da variável, , geramos uma variável com média zero. E a média de 'uma variável com média zero' é zero. $x$ $a$ $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$

O artigo da Wikipedia usa esses dois truques respectivamente na terceira e na quarta linha.

A expectativa aninhada na terceira linha

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

é simplificado colocando a parte constante fora dela (truque 1). $(\mathbb{E}({\hat{\theta}})-\theta)$
O termo é resolvido (igual a zero) usando o fato de que a variável tem média zero (truque 2). $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ $\hat{\theta} -\mathbb{E}(\hat{\theta})$

— Sextus Empiricus
fonte

$E(\hat{\theta}) - \theta$ não é uma constante.

O comentário de @ user1158559 é realmente o correto:

E [\hat{θ} - E (\hat{θ})] = E (\hat{θ}) - E [E (\hat{θ})] = E (\hat{θ}) - E (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

— pequeno monstro
fonte

Não vejo o que você está tentando mostrar. Além disso, o viés pode não ser zero, mas isso não significa que não seja uma constante.

— Michael R. Chernick 21/09

Não é uma constante porque onde é um dado dado de treinamento, que também é uma variável aleatória. Assim, sua expectativa não é constante.

\hat{θ} = f (D)

$\hat{\theta} = f(D)$

D

$D$

— little_monster

Além disso, o fato de não ser uma constante ou não não pode explicar como a etapa 4 é possível a partir da etapa 3. Por outro lado, o comentário de @ user1158559 explica isso.

— little_monster

@ Michael, houve confusão sobre a questão. A parte destacada contém esta expressão , mas no texto da pergunta, é mencionado que ela está sobre a mudança da terceira linha para a quarta linha, alterando o aninhamento de expectativas.

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$

— Sextus Empiricus