Qual é a intuição por trás da definição de integridade em uma estatística como sendo impossível formar um estimador imparcial de partir dela?

Nas estatísticas clássicas, existe uma definição de que uma estatística de um conjunto de dados é definida como concluída para um parâmetro , sendo impossível formar um estimador imparcial de partir dele sem trivialidade. Ou seja, a única maneira de ter para todos é ter ser quase certamente.$T$$y_1, \ldots, y_n$$\theta$$0$$E h(T (y )) = 0$$\theta$$h$$0$

Existe uma intuição por trás disso? Parece ser uma maneira bastante mecânica de definir isso, sei que isso já foi perguntado antes, mas fiquei imaginando se havia uma intuição muito fácil de entender que tornaria os alunos introdutórios mais fáceis de digerir o material.

Vou tentar adicionar à outra resposta. Primeiro, a completude é uma condição técnica justificada principalmente pelos teoremas que a utilizam. Então, vamos começar com alguns conceitos e teoremas relacionados onde eles ocorrem.

Seja $X=(X_1,X_2,\dotsc,X_n)$ represente um vetor de dados iid, que modelamos como tendo uma distribuição $f(x;\theta), \theta \in \Theta$ onde o parâmetro $\theta$ governa os dados é desconhecido. $T=T(X)$ é suficiente se a distribuição condicional de $X \mid T$ não depender do parâmetro $\theta$ . $V=V(X)$ éauxiliarse a distribuição de$V$ não depender de$\theta$ (dentro da família$f(x;\theta)$ ). $U=U(X)$ é umestimador imparcial de zerose sua expectativa é zero, independentemente de$\theta$ . $S=S(X)$ é umaestatística completase qualquer estimador imparcial de zero com base emfor identicamente zero, ou seja, se$S$$\DeclareMathOperator{\E}{\mathbb{E}} \E g(S)=0 (\text{for all $\theta$})$ e ae (para todos ).$g(S)=0$$\theta$

Agora, suponha que você tenha dois estimadores imparciais diferentes de base na estatística suficiente , . Ou seja, nos símbolos e (para todos ). Então é um estimador imparcial de zero, que não é identicamente zero, provando que não está completo. Portanto, a completude de uma estatística suficiente nos dá a existência de apenas um estimador imparcial único de baseado em$\theta$$T$$g_1(T), g_2(T)$

Vejamos alguns exemplos. Suponha que $X_1, \dotsc, X_n$ agora sejam iid uniformes no intervalo $(\theta, \theta+1)$ . Podemos mostrar que ( $X_{(1)} < X_{(2)} < \dotsm < X_{(n)}$ é a estatística da ordem) o par $(X_{(1)}, X_{(n)})$ é suficiente, mas não está completo, porque o diferença $X_{(n)}-X_{(1)}$ é auxiliar, podemos calcular sua expectativa, seja$c$(que é uma função de$n$apenas) e, em seguida,$X_{(n)}-X_{(1)} -c$será um estimador imparcial de zero que não é identicamente zero. Portanto, nossa estatística suficiente, neste caso, não é completa e suficiente. E podemos ver o que isso significa: existem funções da estatística suficiente que não são informativas sobre$\theta$(no contexto do modelo). Isso não pode acontecer com uma estatística suficiente completa; é, de certo modo, maximamente informativo, na medida em que nenhuma função dele é pouco informativa. Por outro lado, se houver alguma função da estatística minimamente suficiente que tenha expectativa zero, que poderia ser vista como um termo de ruído , os termos de perturbação / ruído nos modelos têm expectativa de zero. Portanto, poderíamos dizer que estatísticas suficientes não completas contêm algum ruído .

Veja novamente o intervalo $R=X_{(n)}-X_{(1)}$ neste exemplo. Como sua distribuição não depende de $\theta$ , ela sozinha não contém nenhuma informação sobre $\theta$ . Mas, junto com a estatística suficiente, ele faz! Quão? Observe o caso em que $R=1$ é observado. Então, no contexto de nosso modelo (conhecido por verdadeiro), temos um conhecimento perfeito de $\theta$ ! Ou seja, podemos dizer com certeza que $\theta = X_{(1)}$ . Você pode verificar se qualquer outro valor para $\theta$então leva a que $X_{(1)}$ ou $X_{(n)}$ seja uma observação impossível, sob o modelo assumido. Por outro lado, se observarmos $R=0.1$ , então a faixa de valores possíveis para $\theta$ é bastante grande (exercício ...).

Nesse sentido, a estatística auxiliar $R$ contém algumas informações sobre a precisão com a qual podemos estimar $\theta$ base nesses dados e modelo. Neste exemplo, e outros, a estatística auxiliar $R$ "assume o papel do tamanho da amostra". Geralmente, os intervalos de confiança e tais necessidades precisam do tamanho da amostra $n$ , mas neste exemplo, podemos fazer um intervalo de confiança condicional, que é calculado usando apenas $R$ , não $n$ (exercício). alguma estatística auxiliar.

Agora, o teorema de Basu: se $T$ é completo o suficiente, então é independente de qualquer estatística auxiliar. Ou seja, a inferência baseada em uma estatística suficiente suficiente é mais simples, pois não precisamos considerar a inferência condicional. O condicionamento de uma estatística independente de $T$ não muda nada, é claro.

Então, um último exemplo para dar um pouco mais de intuição. Altere nosso exemplo de distribuição uniforme para uma distribuição uniforme no intervalo $(\theta_1, \theta_2)$ (com $\theta_1<\theta_2$ ). Nesse caso, a estatística $(X_{(1)}, X_{(n)})$ é completa e suficiente. O que mudou? Podemos ver que a completude é realmente uma propriedade do modelo. No primeiro caso, tínhamos um espaço de parâmetro restrito. Essa restrição destruiu a integridade introduzindo relacionamentos nas estatísticas do pedido. Ao remover essa restrição, obtivemos integridade! Portanto, de certa forma, a falta de integridade significa que o espaço dos parâmetros não é grande o suficiente e, ampliando-o, podemos esperar restaurar a integridade (e, portanto, uma inferência mais fácil).

Alguns outros exemplos em que a falta de integridade é causada por restrições no espaço do parâmetro,

• veja minha resposta para: Que tipo de informação é Fisher?

• Deixe que $X_1, \dotsc, X_n$ ser iid $\mathcal{Cauchy}(\theta,\sigma)$ (um modelo de localização escala). Em seguida, as estatísticas do pedido são suficientes, mas não completas. Mas agora amplie esse modelo para um modelo totalmente não paramétrico, ainda iid, mas a partir de alguma distribuição $F$ não especificada . Em seguida, as estatísticas do pedido são suficientes e completas.

• Para famílias exponenciais com espaço de parâmetro canônico (ou seja, o maior possível), a estatística mínima suficiente também é completa. Porém, em muitos casos, a introdução de restrições no espaço dos parâmetros, como nas famílias exponenciais curvas , destrói a integridade.

Um artigo muito relevante é Uma Interpretação da Completude e o Teorema de Basu.

Alguma intuição pode estar disponível a partir da teoria dos melhores estimadores imparciais (variação mínima).

Se então W é o melhor estimador imparcial de τ ( θ ) se W não estiver correlacionado com todos os estimadores imparciais de zero.$E_\theta W=\tau(\theta)$$W$$\tau(\theta)$$W$

Prova : Seja um estimador imparcial sem correlação com todos os estimadores imparciais de zero. Seja W ′ outro estimador tal que E θ W ′ = E θ W = τ ( θ ) . Escreva W ′ = W + ( W ′ - W ) . Por suposição, V a r θ W ′ = V a r θ W + V a r θ$W$$W'$$E_\theta W'=E_\theta W=\tau(\theta)$$W'=W+(W'-W)$ . Assim, para qualquer W ' , V um r θ W ' ≥ V um r θ W .$Var_\theta W'=Var_\theta W+Var_\theta (W'-W)$$W'$$Var_\theta W'\geq Var_\theta W$

Agora suponha que seja o melhor estimador imparcial. Haja algum outro estimador U com E θ U = 0 . ϕ a : = W + a U também é imparcial para τ ( θ ) . Temos V a r θ ϕ a : = V a r θ W + 2 a C o v θ ( W , U ) + a $W$$U$$E_\theta U=0$$\phi_a:=W+aU$$\tau(\theta)$ Se houvesse uma θ 0 ∈ q tal que C O v θ 0 ( W , L ) < 0 , obteremos V um r θ & Phi; um < V um r θ W para uma ∈ ( 0 , - 2 C O v θ 0 ( W , L ) / V

Intuitivamente, o resultado diz que se um estimador é ideal, não deve ser possível melhorá-lo apenas adicionando algum ruído a ele, no sentido de combiná-lo com um estimador que é apenas zero em média (sendo um estimador imparcial de zero )

Infelizmente, é difícil caracterizar todos os estimadores imparciais de zero. A situação se torna muito mais simples se o próprio zero é o único estimador imparcial de zero, pois qualquer estatística satisfaz C o v θ ( W , 0 ) = 0 . Completude descreve tal situação.$W$$Cov_\theta(W,0)=0$