por que imparcialidade não implica consistência

Estou lendo um aprendizado profundo de Ian Goodfellow et al. Ele introduz o viés como que e são o parâmetro estimado e o parâmetro real subjacente, respectivamente.

B Eu uma s (θ) = E (\hat{θ}) - θ

$Bias(\theta)=E(\hat\theta)-\theta$

\hat{θ}

$\hat\theta$

θ

$\theta$

A consistência, por outro lado, é definida por o que significa que para qualquer , como

{eu Eu m}_{m \to \infty} {\hat{θ}}_{m} = θ

$\mathrm{lim}_{m\to\infty}\hat\theta_m=\theta$

ϵ > 0

$\epsilon > 0$

P (| {\hat{θ}}_{m} - θ | > ϵ) \to 0

$P(|\hat\theta_m-\theta|>\epsilon)\to0$

m \to \infty

$m\to\infty$

Em seguida, diz que consistência implica imparcialidade, mas não vice-versa:

A consistência garante que o viés induzido pelo estimador diminua à medida que o número de exemplos de dados aumenta. No entanto, o contrário não é verdadeiro - a imparcialidade assintótica não implica consistência. Por exemplo, considere estimar o parâmetro médio μ de uma distribuição normal N (x; μ, σ2), com um conjunto de dados composto por m amostras: . Poderíamos usar a primeira amostra do conjunto de dados como um estimador imparcial: . Nesse caso, para que o estimador seja imparcial, não importa quantos pontos de dados sejam vistos. Isso, é claro, implica que a estimativa é assintoticamente imparcial. No entanto, este não é um estimador consistente, pois não é o caso de como ${x^{(1)}, . . . , x^{(m)}}$ $x^{(1)}$ $\hatθ = x^{(1)}$ $E(\hat θ_m) = θ$ $\hatθ_m → θ$ $m → ∞$

Não sei se entendi corretamente o parágrafo acima e os conceitos de imparcialidade e consistência. Espero que alguém possa me ajudar a verificar. Desde já, obrigado.

Tanto quanto eu entendo, consistência implica imparcialidade e baixa variação e, portanto, a imparcialidade sozinha não é suficiente para implicar consistência.

— Talvez
fonte

Se viés = 0 e variação-> 0, então é consistente. E se viés-> 0 e variância-> 0, é consistente; isso é "imparcialidade assintótica". Ambos seguem o fato de que o erro quadrado esperado = desvio ^ 2 + variância.

— User54038 #

Não diz que consistência implica imparcialidade, pois isso seria falso. Por exemplo, o estimador é um estimador consistente para a média da amostra, mas não é imparcial. O que o trecho acima diz é que a consistência diminui a quantidade de viés induzida por um estimador de viés !. No caso da média da amostra, a diferença entre e torna se insignificante à medida que aumenta

\frac{1}{N - 1} \sum_{i} x_{i}

$\frac{1}{N-1} \sum_i x_i$

N

$N$

N - 1

$N-1$

N

$N$

— Yannis Vassiliadis 30/05

Tem certeza de que é imparcial? Eu acredito que é imparcial: 1 / n vezes a soma seria enviesada.

— eSurfsnake

@eSurfsnake é para a variação da amostra. Para o exemplo da amostra que mencionei acima, é imparcial e consistente, enquanto é apenas consistente.

\frac{1}{N} \sum_{i} x_{i}

$\frac{1}{N} \sum_i x_i$

\frac{1}{N - 1} \sum_{i} x_{i}

$\frac{1}{N-1} \sum_i x_i$

— Yannis Vassiliadis

OK - Eu pensei que você estava perguntando sobre a variação.

— eSurfsnake

Respostas:

Nesse parágrafo, os autores estão dando um exemplo extremo para mostrar como ser imparcial não significa que uma variável aleatória esteja convergindo para qualquer coisa.

Os autores estão colhendo uma amostra aleatória e desejam estimar . Observando que , poderíamos produzir um estimador imparcial de ignorando todos os nossos dados, exceto o primeiro ponto . Mas essa é claramente uma péssima idéia, portanto a imparcialidade por si só não é um bom critério para avaliar um estimador. De alguma forma, à medida que obtemos mais dados, queremos que nosso estimador varie cada vez menos de , e é exatamente isso que a consistência diz: para qualquer distância , a probabilidade de que esteja mais do que longe de $X_1,\dots, X_n \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $E(X_1) = \mu$ $\mu$ $X_1$ $\mu$ $\varepsilon$ $\hat \theta_n$ $\varepsilon$ $\theta$ vai para como . E isso pode acontecer mesmo que qualquer finito seja tendencioso. Um exemplo disso é o estimador de variância em uma amostra normal. Isso é tendencioso, mas consistente. $0$ $n \to \infty$ $n$ $\hat \theta$ $\hat \sigma^2_n = \frac 1n \sum_{i=1}^n(y_i - \bar y_n)^2$

Intuitivamente, uma estatística é imparcial se igualar exatamente à quantidade alvo quando a média é calculada sobre todas as amostras possíveis. Mas sabemos que a média de um monte de coisas não precisa estar nem perto das coisas que estão sendo calculadas; essa é apenas uma versão mais sofisticada de como a média de e é , embora nem nem estejam particularmente próximos a (dependendo de como você mede "fechar"). $0$ $1$ $1/2$ $0$ $1$ $1/2$

Aqui está outro exemplo (embora este seja quase o mesmo exemplo disfarçado). Deixe e deixe . Nosso estimador de será . Observe que , de fato, temos um estimador imparcial. Mas portanto esse estimador definitivamente não está convergindo para algo próximo de , e para cada realmente ainda temos . $X_1 \sim \text{Bern}(\theta)$ $X_2 = X_3 = \dots = X_1$ $\theta$ $\hat \theta(X) = \bar X_n$ $E \bar X_n = p$ $\bar X_n = X_1 \in \{0,1\}$ $\theta \in (0,1)$ $n$ $\bar X_n \sim \text{Bern}(\theta)$

— jld
fonte

O inverso também é falso. Um estimador pode ter um viés e uma variação que vão para 0 quando n se aproxima do infinito, tornando-o consistente. Mas, para cada n, ele será enviesado porque terá um viés diferente de zero. Por exemplo, a estimativa de variação com n no denominador é enviesada e consistente, enquanto que se você dividir por n-1, será isenta e consistente.

— Michael R. Chernick

Tanto quanto eu entendo, consistência implica imparcialidade e baixa variação e, portanto, a imparcialidade sozinha não é suficiente para implicar consistência.

Direita. Ou, usando os termos ligeiramente mais leigos de "precisão" para viés baixo e "precisão" para variação baixa, a consistência exige que sejamos exatos e precisos. Ser preciso não significa que estamos atingindo o alvo. É como a velha piada sobre dois estatísticos que vão caçar. Um deles sente falta de um cervo três metros à esquerda. O outro erra três metros à direita. Eles então se felicitam com base em que, em média, atingem o cervo. Mesmo que seu viés seja zero, para realmente atingir o cervo, eles também precisam de baixa variação.

— Acumulação
fonte