Como alguém explica o que é um estimador imparcial para um leigo?

10

Suponha que seja um estimador imparcial para . Então, é claro, . $\hat{\theta}$ $\theta$ $\mathbb{E}[\hat{\theta} \mid \theta] = \theta$

Como alguém explica isso a um leigo? No passado, o que eu disse é que se você calcula a média de vários valores de , à medida que o tamanho da amostra aumenta, você obtém uma melhor aproximação de . $\hat{\theta}$ $\theta$

Para mim, isso é problemático. Eu acho que o que estou descrevendo aqui é esse fenômeno de ser assintoticamente imparcial, em vez de apenas ser imparcial, ou seja, onde provavelmente depende de .

lim_{n \to \infty} E [\hat{θ} ∣ θ] = θ,

$\lim_{n \to \infty}\mathbb{E}[\hat{\theta} \mid \theta] = \theta\text{,}$

\hat{θ}

$\hat{\theta}$

n

$n$

Então, como explicar o que é um estimador imparcial para um leigo?

— Clarinetist
fonte

2

É uma maneira de fazer uma estimativa quase certa: geralmente não é exatamente correta, mas no geral ela não produz superestimativas com mais frequência do que subestimada. Sei que isso soa mais como

θ

$\theta$ é a mediana de

\hat{θ}

$\hat \theta$ que a média, mas acho que captura o ponto essencial.

— precisa saber é o seguinte

3

I como a piada "três estatísticos caça" (a versão aqui ) para isso ...

— Ben Bolker

2

Sua explicação é a Lei dos Grandes Números, não tem nada a ver com imparcialidade.

— Xian

@ Xi'an: Se o estimador fosse tendencioso, o limite não seria .

θ

$\theta$

— User2357112 suporta Monica

@ user2357112: no meu entendimento (e de outros, como mostrado pelas respostas até agora), à medida que o tamanho da amostra aumenta, consideramos medida que cresce até o infinito, ou seja, um estimador baseado em observações. Agora vejo que a frase pode ser interpretada de maneira diferente.

{\hat{θ}}_{n}

$\hat\theta_n$

n

$n$

n

$n$

— Xian

14

Tecnicamente, o que você está descrevendo quando diz que seu estimador se aproxima do valor real à medida que o tamanho da amostra aumenta é (como outros já mencionaram) consistência ou convergência de estimadores estatísticos. Essa convergência pode ser convergência em probabilidade, o que indica que para cada , ou quase certeza de convergência que diz que . Observe como o limite está realmente dentro $\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| > \epsilon) = 0$ $\epsilon > 0$ $P(\lim_{n \to \infty} |\hat{\theta}_n - \theta| > \epsilon) = 0$ a probabilidade no segundo caso. Acontece que essa última forma de convergência é mais forte que a outra, mas ambas significam essencialmente a mesma coisa, ou seja, a estimativa tende a se aproximar cada vez mais da coisa que estamos estimando à medida que coletamos mais amostras.

Um ponto sutil aqui é que mesmo quando quer na probabilidade ou quase certamente, é não verdade em geral que , portanto, consistência não implica imparcialidade assintótica, como você está sugerindo. Você deve ter cuidado ao passar de sequências de variáveis aleatórias (que são funções) para sequências de expectativas (que são integrais). $\hat{\theta}_n \to \theta$ $\lim_{n \to \infty} \text{E}(\hat{\theta}_n) = \theta$

Todas as coisas técnicas à parte, imparciais apenas significam que . Portanto, quando você explicar a alguém, diga que, se o experimento for repetido sob condições idênticas muitas vezes, o valor médio da estimativa ficaria próximo do valor real. $\text{E}(\hat{\theta}_n) = \theta$

— dsaxton
fonte

5

Sua visão do leigo é bastante admirável. Ele sabe o que é "convergência em probabilidade", "como convergência", limites ... É o homem do futuro.

— Aksakal

2

Eu não acho que um leigo conheça alguma dessas coisas, eu estava tentando corrigir alguns mal-entendidos no post original. Minha sugestão sobre como explicar as coisas para um leigo está no último parágrafo.

— dsaxton

esse último parágrafo, porém, envolve o conceito de viés com a consistência de um estimador, que provavelmente foi uma das confusões do OP para começar.

— Aksakal

3

Como assim? Repetir um experimento em condições idênticas significaria que o tamanho da amostra é fixo e, portanto, obviamente não estamos falando de consistência.

— dsaxton

11

Ok, você está certo sobre isso, mas, em seguida, isso significa que você está trazendo em vista frequencista de uma probabilidade

— Aksakal

9

Não tenho certeza se você confunde consistência e imparcialidade.

Consistência: quanto maior o tamanho da amostra, menor a variação do estimador.

Depende do tamanho da amostra

Imparcialidade: o valor esperado do estimador é igual ao valor real dos parâmetros

Não depende do tamanho da amostra

Então sua sentença

Se você média um monte de valores de , como o tamanho da amostra fica maior, você obter uma melhor aproximação das . $\hat\theta$ $\theta$

Não está correto. Mesmo que o tamanho da amostra fique infinito, um estimador imparcial continuará sendo um estimador imparcial, por exemplo, se você estimar a média como "média +1", poderá adicionar um bilhão de observações à sua amostra e seu estimador ainda não fornecerá o valor verdadeiro.

Aqui você encontra uma discussão mais profunda sobre a diferença entre consistência e imparcialidade.

Qual é a diferença entre um estimador consistente e um estimador imparcial?

— Ferdi
fonte

2

Na verdade, eu não sei nada sobre consistência, mas obrigado.

— Clarinetist

11

A consistência clarinetista é talvez a propriedade mais importante de um estimador, que com dados suficientes, você chegará arbitrariamente perto da resposta certa.

— Matthew Gunn

7

O @Ferdi já forneceu uma resposta clara à sua pergunta, mas vamos torná-la um pouco mais formal.

$X_1,\dots,X_n$ $F$ $\theta$ $g$ $X_1,\dots,X_n$ $g$

{\hat{θ}}_{n} = g (X_{1}, \dots, X_{n})

$\hat\theta_n = g(X_1,\dots,X_n)$

também é uma variável aleatória. Definimos viés como

b i a s ({\hat{θ}}_{n}) = E_{θ} ({\hat{θ}}_{n}) - θ

$\mathrm{bias}(\hat\theta_n) = \mathbb{E}_\theta(\hat\theta_n) - \theta$

$\mathbb{E}_\theta(\hat\theta_n) = \theta$

$\hat\theta_n$

Como outros já observaram, o fato de sua estimativa ficar "mais próxima" da quantidade estimada à medida que a amostra cresce, ou seja, que converge em probabilidade

{\hat{θ}}_{n} \overset{P}{\to} θ

$\hat\theta_n \overset{P}{\to} \theta$

tem a ver com consistência dos estimadores , não imparcialidade. A imparcialidade por si só não nos diz nada sobre o tamanho da amostra e sua relação com as estimativas obtidas. Além disso, os estimadores imparciais nem sempre estão disponíveis e nem sempre são preferíveis aos tendenciosos. Por exemplo, depois de considerar a troca de desvio-desvio, você pode considerar o uso de estimador com desvio maior, mas menor - então "em média" seria mais distante do valor real, mas mais frequentemente (desvio menor) as estimativas estar mais próximo do valor real e, em caso de estimador imparcial.

— Tim
fonte

(+1): ponto muito bom para trazer o fato de que raramente existem estimadores imparciais disponíveis. E mencionando a oposição de viés / variância.

— Xian

2

Primeiro, você deve distinguir o viés de incompreensão do viés estatístico, especialmente para um leigo.

A escolha de dizer mediana, média ou modo como estimador para uma média populacional geralmente contém um viés de crença política, religiosa ou da teoria científica. O cálculo de qual estimador é a melhor forma de média é de um tipo diferente da aritmética que afeta o viés estatístico.

Depois de superar o viés de seleção do método, é possível abordar os possíveis vieses no método de estimativa. Primeiro, você precisa escolher um método que possa ter um viés e um mecanismo que conduz facilmente a esse viés.

Pode ser mais fácil usar um ponto de vista de divisão e conquista, onde fica óbvio à medida que o tamanho da amostra diminui, a estimativa se torna claramente tendenciosa. Por exemplo, o fator n-1 (fator vs n) nos estimadores de spread de amostra se torna óbvio quando n cai de 3 para 2 para 1!

Tudo depende de quão 'leiga' a pessoa é.

— Philip Oakley
fonte

Receio que você esteja falando sobre diferentes tipos de preconceitos que o da questão. Você poderia tentar ser mais específico sobre o que é preconceito? Você escreve sobre "possíveis vieses no método de estimativa" e isso parece não corresponder à definição de viés (dada na pergunta e nas respostas acima). No final, isso torna sua resposta confusa ...

— Tim

@ Tim, o primeiro passo foi apenas garantir que os preconceitos humanos fossem cobertos. O segundo passo foi (e segue parcialmente as questões do passo 1) para garantir que o ensino do leigo ainda não era o método X (o imparcial) a ser escolhido. por exemplo, o desvio padrão é 1 / n * soma ((média x) ^ 2), mas que (cuidadosamente) não distingue entre população e amostra. A maioria dos 'leigos' é ensinada a versão impensada 1 / (N-1) para uma amostra. Se você tem apenas um método, você (o leigo) não tem escolha a fazer, portanto o viés do estimador não pode ser um problema ... É a etapa de Kruger-Dunning.

— Philip Oakley