Por que precisamos de um estimador para ser consistente?

Eu acho que já entendi a definição matemática de um estimador consistente. Corrija-me se eu estiver errado:

$W_n$ é um estimador consistente para if$\theta$$\forall \epsilon>0$

Onde, $\Theta$ é o Espaço Paramétrico. Mas quero entender a necessidade de um estimador ser consistente. Por que um estimador que não é consistente é ruim? Você poderia me dar alguns exemplos?

Eu aceito simulações em R ou python.

Se o estimador não for consistente, não convergirá para o valor verdadeiro em probabilidade . Em outras palavras, sempre há uma probabilidade de que seu estimador e seu valor verdadeiro tenham uma diferença, independentemente de quantos pontos de dados você tenha. Isso é realmente ruim, porque mesmo se você coletar uma quantidade imensa de dados, sua estimativa sempre terá uma probabilidade positiva de ser diferente do valor real. Na prática, você pode considerar essa situação como se estivesse usando um estimador de uma quantidade tal que mesmo o levantamento de toda a população, em vez de uma pequena amostra, não o ajudasse.$\epsilon>0$

Considere observações da distribuição padrão de Cauchy, que é igual à distribuição t de Student com 1 grau de liberdade. As caudas dessa distribuição são suficientemente pesadas que não têm significado; a distribuição está centrada na sua mediana$n = 10\,000$$\eta = 0.$

Uma sequência de amostra significa que não é consistente para o centro da distribuição de Cauchy. Grosso modo, a dificuldade é que observações muito extremas (positivas ou negativas) ocorrem com regularidade suficiente para que não haja chance de$A_j = \frac 1j \sum_{i=1}^j X_i$$X_i$$A_j$η=0.AjAj convergir para (Os não demoram a convergir, eles nunca A distribuição de é novamente Cauchy padrão [ prova ].)$\eta = 0.$$A_j$$A_j$

Por outro lado, em qualquer etapa de um processo contínuo de amostragem, cerca de metade das observações $X_i$ se situam em ambos os lados de modo que a sequência das medianas da amostra converge para$\eta,$$H_j$$\eta.$

Essa falta de convergência de e convergência de é ilustrada pela seguinte simulação.$A_j$$H_j$

set.seed(2019)  # for reproducibility
n = 10000;  x = rt(n, 1);  j = 1:n
a = cumsum(x)/j
h = numeric(n)
for (i in 1:n) {
  h[i] = median(x[1:i])  } 
par(mfrow=c(1,2))
 plot(j,a, type="l", ylim=c(-5,5), lwd=2,
    main="Trace of Sample Mean")
  abline(h=0, col="green2")
  k = j[abs(x)>1000] 
  abline(v=k, col="red", lty="dotted")
 plot(j,h, type="l", ylim=c(-5,5), lwd=2,
     main="Trace of Sample Median")
  abline(h=0, col="green2") 
par(mfrow=c(1,1))

Aqui está uma lista de etapas nas quais Você pode ver o efeito de algumas dessas observações extremas nas médias correntes no gráfico à esquerda (nas linhas pontilhadas vermelhas verticais).$|X_i| > 1000.$

k = j[abs(x)>1000]
rbind(k, round(x[k]))
   [,1] [,2] [,3]  [,4] [,5]  [,6]   [,7]  [,8]
k   291  898 1293  1602 2547  5472   6079  9158
  -5440 2502 5421 -2231 1635 -2644 -10194 -3137

Consistência é importante na estimativa: na amostragem de uma população de Cauchy, a média da amostra de uma amostra de$n = 10\,000$ observações não é melhor para estimar o centro que apenas uma observação. Por outro lado, a mediana consistente da amostra converge para portanto amostras maiores produzem melhores estimativas.$\eta$$\eta,$

Um exemplo realmente simples de por que é importante pensar em consistência, que eu acho que não recebe atenção suficiente, é o de um modelo simplificado demais.

Como um exemplo teórico, suponha que você desejasse ajustar um modelo de regressão linear em alguns dados, nos quais os efeitos reais eram na verdade não lineares. Então, suas previsões não poderão ser consistentes para a verdadeira média de todas as combinações de covariáveis, enquanto uma mais flexível poderá. Em outras palavras, o modelo simplificado terá deficiências que não podem ser superadas com o uso de mais dados.

O @BruceET já deu uma excelente resposta técnica, mas eu gostaria de acrescentar um ponto sobre a interpretação de tudo isso.

Um dos conceitos fundamentais da estatística é que, à medida que o tamanho da amostra aumenta, podemos chegar a conclusões mais precisas sobre a distribuição subjacente. Você pode pensar nisso como a noção de que a coleta de muitas amostras elimina o jitter aleatório nos dados, para que possamos ter uma noção melhor da estrutura subjacente.

São abundantes exemplos de teoremas nesse sentido, mas o mais conhecido é a Lei dos Grandes Números, afirmando que, se tivermos uma família de variáveis ​​aleatórias iid $(X_i)_{i\in\mathbb{N}} \ $$\mathbb{E}[X_1] < \infty$

Agora, exigir que um estimador seja consistente é exigir que ela também siga esta regra: Como seu trabalho é estimar um parâmetro desconhecido, gostaríamos que ele convergisse para esse parâmetro (leia-se: estimar esse parâmetro arbitrariamente bem) como nossa amostra. tamanho tende ao infinito.

A equação

$W_n$$\theta$

$[\theta - \varepsilon, \theta + \varepsilon]$$\theta$