Qual é a relação entre estimador e estimativa?

Qual é a relação entre estimador e estimativa?

EL Lehmann, em sua clássica teoria da estimativa de pontos , responde a essa pergunta nas páginas 1-2.

As observações são agora postuladas como sendo os valores assumidos por variáveis ​​aleatórias que se supõe seguir uma distribuição de probabilidade conjunta, , pertencente a alguma classe conhecida ...$P$

... vamos nos especializar agora para apontar estimativas ... suponha que seja uma função com valor real definida [na classe estipulada de distribuições] e que gostaríamos de saber o valor de [seja qual for a distribuição real em efeito, ]. Infelizmente, e, portanto, , é desconhecido. No entanto, os dados podem ser usados ​​para obter uma estimativa de , um valor que se espera que esteja próximo de .g θ θ g ( θ $g$$g$$\theta$$\theta$$g(\theta)$g ( θ $g(\theta)$$g(\theta)$

Em palavras: um estimador é um procedimento matemático definido que gera um número (a estimativa ) para qualquer conjunto de dados possível que um determinado problema possa produzir. Esse número pretende representar alguma propriedade numérica definida ( ) do processo de geração de dados; podemos chamar isso de "estimativa".$g(\theta)$

O estimador em si não é uma variável aleatória: é apenas uma função matemática. No entanto, a estimativa que ela produz é baseada em dados que são modelados como variáveis ​​aleatórias. Isso transforma a estimativa (pensada como dependendo dos dados) em uma variável aleatória e uma estimativa específica para um conjunto específico de dados se torna uma realização dessa variável aleatória.

Em uma formulação (convencional) de mínimos quadrados ordinários, os dados consistem em pares ordenados . O foi determinado pelo pesquisador (podem ser quantidades de um medicamento administrado, por exemplo). cada (uma resposta à droga, por exemplo) provém de uma distribuição de probabilidade Normal, mas com média desconhecida e variação comum . Além disso, supõe-se que os meios estejam relacionados ao por meio de uma fórmula . Esses três parâmetros - , ex i y i μ i σ 2 x i μ i = β 0 + β 1 x i σ β 0 β 1 y i x i ( σ , β 0 , β 1 ) β 0 β 1 cos ( σ + β 2 0 - β 1 ) $(x_i, y_i)$$x_i$$y_i$$\mu_i$$\sigma^2$$x_i$$\mu_i = \beta_0 + \beta_1 x_i$$\sigma$$\beta_0$$\beta_1$- determine a distribuição subjacente de para qualquer valor de . Portanto, qualquer propriedade dessa distribuição pode ser pensada como uma função de . Exemplos de tais propriedades são a interceptação , a inclinação , o valor de ou mesmo a média no valor , que (de acordo com esta formulação ) deve ser .$y_i$$x_i$$(\sigma, \beta_0, \beta_1)$$\beta_0$$\beta_1$$\cos(\sigma + \beta_0^2 - \beta_1)$β 0 + 2 β $x=2$$\beta_0 + 2 \beta_1$

Nesse contexto de OLS, um não exemplo de um estimador seria um procedimento para adivinhar o valor de se fosse definido como 2. Isso não é um estimador porque esse valor de é aleatório (de uma maneira completamente separada de a aleatoriedade dos dados): não é uma propriedade (numérica definida) da distribuição, mesmo que esteja relacionada a essa distribuição. (Como acabamos de ver, no entanto, a expectativa de para , igual a , pode ser estimada.)x y y x = 2 β 0 + 2 β $y$$x$$y$$y$$x=2$$\beta_0 + 2 \beta_1$

Na formulação de Lehmann, quase qualquer fórmula pode ser um estimador de quase qualquer propriedade. Não existe um vínculo matemático inerente entre um estimador e um estimador. No entanto, podemos avaliar - com antecedência - a chance de um estimador estar razoavelmente próximo da quantidade que ele pretende estimar. Maneiras de fazer isso e como explorá-las são o assunto da teoria das estimativas.

Em resumo: um estimador é uma função e uma estimativa é um valor que resume uma amostra observada.

Um estimador é uma função que mapeia uma amostra aleatória para a estimativa de parâmetro:

$$\hat{\Theta}=t(X_1,X_2,...,X_n)$$ Observe que um estimador de n variáveis ​​aleatórias é uma variável aleatória . Por exemplo, um estimador é a média da amostra: Uma estimativa é o resultado da aplicação da função do estimador a uma amostra observada em minúsculas :$X_1,X_2,...,X_n$$\hat{\Theta}$ $$\overline{X}=\frac{1}{n}\sum_{n=1}^nX_i$$ $\hat{\theta}$$x_1,x_2,...,x_n$

x1,x2,. . . ,Xn μ = ¯ x =

$$\hat{\theta}=t(x_1,x_2,...,x_n)$$ Por exemplo, uma estimativa da amostra observada é a média da amostra: $x_1,x_2,...,x_n$ $$\hat{\mu}=\overline{x}=\frac{1}{n}\sum_{n=1}^nx_i$$

Pode ser útil ilustrar a resposta do whuber no contexto de um modelo de regressão linear. Digamos que você tenha alguns dados bivariados e use Mínimos Quadrados Ordinários para criar o seguinte modelo:

Y = 6X + 1

Nesse ponto, você pode pegar qualquer valor de X, conectá-lo ao modelo e prever o resultado, Y. Nesse sentido, você pode pensar nos componentes individuais da forma genérica do modelo ( mX + B ) como estimadores . Os dados da amostra (que você presumivelmente conectou ao modelo genérico para calcular os valores específicos para m e B acima) forneceram uma base na qual você pode apresentar estimativas para m e B, respectivamente.

Consistente com os pontos do @ whuber em nosso tópico abaixo, quaisquer que sejam os valores de Y que um determinado conjunto de estimadores gera para você, são considerados, no contexto da regressão linear, como valores previstos.

(editado - algumas vezes - para refletir os comentários abaixo)

Suponha que você recebeu alguns dados e teve alguma variável observada chamada theta. Agora seus dados podem ser de uma distribuição de dados; para essa distribuição, existe um valor correspondente de teta que você deduz que é uma variável aleatória. Você pode usar o MAP ou a média para calcular a estimativa dessa variável aleatória sempre que a distribuição de seus dados for alterada. Portanto, a variável aleatória teta é conhecida como estimativa , um valor único da variável não observada para um tipo específico de dados.

Enquanto estimador são seus dados, que também é uma variável aleatória. Para diferentes tipos de distribuições, você tem diferentes tipos de dados e, portanto, uma estimativa diferente e, portanto, essa variável aleatória correspondente é chamada de estimador .