Como entender que o MLE de variância é enviesado em uma distribuição gaussiana?


12

Ilustração em PRML de como surge o viés no uso da máxima probabilidade para determinar a variação de um Gaussiano

Estou lendo PRML e não entendo a imagem. Poderia, por favor, dar algumas dicas para entender a imagem e por que o MLE de variação em uma distribuição gaussiana é tendencioso?

1,55 fórmula: fórmula 1,56 σ 2 M L E =1

μMLE=1Nn=1Nxn
σMLE2=1Nn=1N(xnμMLE)2

Por favor, adicione a etiqueta de auto-estudo.
StatsStudent

2
por que, para cada gráfico, apenas um ponto de dados azul é visível para mim? btw, enquanto eu estava tentando editar o estouro de dois subscritos neste post, o sistema requer "pelo menos 6 caracteres" ... embaraçoso.
Zhanxiong 07/02

O que você realmente deseja entender, a imagem ou por que a estimativa de variação do MLE é tendenciosa? O primeiro é muito confuso, mas posso explicar o segundo.
TrynnaDoStat

sim, eu encontrei na nova versão cada gráfico tem dois dados azuis, meu pdf é velho
ningyuwhut

@TrynnaDoStat desculpe pela minha pergunta não está clara. o que eu quero saber é por que a estimativa de variância do MLE é tendenciosa. e como isso é expresso neste gráfico
ningyuwhut 07/02

Respostas:


25

Intuição

E[x¯2]μ2E[x¯2]μ2μx¯μpor um número negativo) também é elevado ao quadrado e, portanto, se torna positivo. Assim, ele não cancela mais e há uma leve tendência a superestimar.

x2μ2E[x2]

Vamos provar que o MLE de variação para uma amostra de iid é tendencioso. Em seguida, verificaremos analiticamente nossa intuição.

Prova

σ^2=1Nn=1N(xnx¯)2

E[σ^2]σ2

E[σ^2]=E[1Nn=1N(xnx¯)2]=1NE[n=1N(xn22xnx¯+x¯2)]=1NE[n=1Nxn2n=1N2xnx¯+n=1Nx¯2]

n=1Nxn=Nx¯n=1Nx¯2=Nx¯2

1NE[n=1Nxn2n=1N2xnx¯+n=1Nx¯2]=1NE[n=1Nxn22Nx¯2+Nx¯2]=1NE[n=1Nxn2Nx¯2]=1NE[n=1Nxn2]E[x¯2]=1Nn=1NE[xn2]E[x¯2]=E[xn2]E[x¯2]

E[xn2]n

σx2=E[x2]E[x]2

E[xn2]E[x¯2]=σx2+E[xn]2σx¯2E[xn]2=σx2σx¯2=σx2Var(x¯)=σx2Var(1Nn=1Nxn)=σx2(1N)2Var(n=1Nxn)

1NVar()

σx2(1N)2Var(n=1Nxn)=σx2(1N)2Nσx2=σx21Nσx2=N1Nσx2

σx2

Verifique analiticamente nossa intuição

μμμ2E[x¯2]σ^2

σ^μ2=1Nn=1N(xnμ)2

E[xn2]E[x¯2]x¯μ

E[xn2]E[μ2]=E[xn2]μ2=σx2+E[xn]2μ2=σx2

que é imparcial!


3
X

11
Obrigado pela sua explicação. Eu preciso de algum tempo para entendê-lo. Além disso, encontrei algum erro nas equações. Você pode verificá-lo? Obrigado!
ningyuwhut

X
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.