Contra-exemplo para a condição suficiente exigida para consistência

Sabemos que se um estimador é um estimador imparcial de teta e se sua variância tende a 0 como n tende ao infinito, é um estimador consistente para teta. Mas essa é uma condição suficiente e não necessária. Estou procurando um exemplo de um estimador que seja consistente, mas cuja variação não tenda a 0, pois n tende ao infinito. Alguma sugestão?

— user22546
fonte

Veja, por exemplo, este comentário e a discussão relacionada.

— cardeal

Fico feliz em ver que minha resposta (incorreta) gerou mais duas e transformou uma pergunta morta em uma animada discussão de perguntas e respostas. Então é hora de tentar oferecer algo que valha a pena, eu acho) .

Considere um processo estocástico de covariância-estacionário correlacionado em série , com média e autocovariâncias . Suponha que (isso limita a "força" da autocorrelação, pois duas realizações do processo estão cada vez mais distantes no tempo). Então nós temos isso $\{y_t\},\;\; t=1,...,n$ $\mu$ $\{\gamma_j\},\;\; \gamma_j\equiv \operatorname{Cov}(y_t,y_{t-j})$ $\lim_{j\rightarrow \infty}\gamma_j= 0$

{\bar{y}}_{n} = \frac{1}{n} \sum_{t = 1}^{n} y_{t} \to_{m . s} μ, Como n \to \infty

$\bar y_n = \frac 1n\sum_{t=1}^ny_t\rightarrow_{m.s} \mu,\;\; \text{as}\; n\rightarrow \infty$

isto é, a média da amostra converge no quadrado médio para a verdadeira média do processo e, portanto, também converge em probabilidade: portanto, é um estimador consistente de . $\mu$

A variação de pode ser encontrada como $\bar y_n$

Var ({\bar{y}}_{n}) = \frac{1}{n} γ_{0 0} + \frac{2}{n} \sum_{j = 1}^{n - 1} (1 - \frac{j}{n}) γ_{j}

$\operatorname{Var}(\bar y_n) = \frac 1n \gamma_0+\frac 2n \sum_{j=1}^{n-1}\left(1-\frac {j}{n}\right)\gamma_j$

que é facilmente mostrado para ir a zero quando vai ao infinito. $n$

Agora, usando o comentário do Cardinal, vamos randomizar ainda mais nosso estimador da média, considerando o estimador

{\tilde{μ}}_{n} = {\bar{y}}_{n} + z_{n}

$\tilde \mu_n = \bar y_n + z_n$

onde é um processo estocástico de variáveis aleatórias independentes que também são independentes dos ', assumindo o valor (parâmetro a ser especificado por nós) com probabilidade , o valor com probabilidade , e zero nos outros casos. Então tem valor e variação esperados $\{z_t\}$ $y_i$ $at$ $a>0$ $1/t^2$ $-at$ $1/t^2$ $\{z_t\}$

E (z_{t}) = uma t \frac{1}{t^{2}} - uma t \frac{1}{t^{2}} + 0 0 \cdot (1 - \frac{2}{t^{2}}) = 0 0, Var (z_{t}) = 2 {uma}^{2}

$E(z_t) = at\frac 1{t^2} -at\frac 1{t^2} + 0\cdot \left (1-\frac 2{t^2}\right)= 0,\;\;\operatorname{Var}(z_t) = 2a^2$

O valor esperado e a variação do estimador são, portanto,

E (\tilde{μ}) = μ, Var (\tilde{μ}) = Var ({\bar{y}}_{n}) + 2 {uma}^{2}

$E(\tilde \mu) = \mu,\;\;\operatorname{Var}(\tilde \mu) = \operatorname{Var}(\bar y_n) + 2a^2$

Considere a distribuição de probabilidade de, :toma o valor com probabilidade e o valor com probabilidade . assim $|z_n|$ $P\left(|z_n| \le \epsilon\right),\;\epsilon>0$ $|z_n|$ $0$ $(1-2/n^2)$ $an$ $2/n^2$

P (| z_{n} | < ϵ) \geq 1 - 2 / n^{2} = lim_{n \to \infty} P (| z_{n} | < ϵ) \geq 1 = 1

$P\left(|z_n| <\epsilon\right) \ge 1-2/n^2 = \lim_{n\rightarrow \infty}P\left(|z_n| < \epsilon\right) \ge 1 = 1$

o que significa que converge em probabilidade para (enquanto sua variação permanece finita). Portanto $z_n$ $0$

plim {\tilde{μ}}_{n} = plim {\bar{y}}_{n} + plim z_{n} = μ

$\operatorname{plim}\tilde \mu_n = \operatorname{plim}\bar y_n+\operatorname{plim} z_n = \mu$

portanto, esse estimador aleatório do valor médio do processo estocástico permanece consistente. Mas sua variância não chega a zero quando vai ao infinito, nem ao infinito. $y$ $n$

Encerramento, por que toda a elaboração aparentemente inútil com um processo estocástico autocorrelacionado? Como o cardeal qualificou seu exemplo chamando-o de "absurdo", como "apenas para mostrar isso matematicamente, podemos ter um estimador consistente com variação diferente de zero e finita".
Eu queria dar uma dica de que não é necessariamente uma curiosidade, pelo menos em espírito: há momentos na vida real em que novos processos começam, processos criados pelo homem, que tinham a ver com a forma como organizamos nossas vidas e atividades. Embora normalmente os tenhamos projetado e possamos dizer muito sobre eles, eles podem ser tão complexos que são razoavelmente tratados como estocásticos (a ilusão de controle completo sobre tais processos ou de conhecimento a priori completo de sua evolução, processos). que podem representar novas maneiras de comercializar ou produzir, ou organizar a estrutura de direitos e obrigações entre humanos, é apenas isso, uma ilusão). Sendo também novo, não temos realizações acumuladas suficientes delas para fazer inferência estatística confiável sobre como elas evoluirão. Então, correções ad hoc e talvez "subótimas" são, no entanto, um fenômeno real, quando, por exemplo, temos um processo em que acreditamos firmemente que seu presente depende do passado (daí o processo estocástico correlacionado automaticamente), mas na verdade não sabemos saber como ainda (daí a randomização ad hoc, enquanto esperamos que os dados se acumulem para estimar as covariâncias). E talvez um estatístico encontre uma maneira melhor de lidar com esse tipo de grave incerteza - mas muitas entidades precisam funcionar em um ambiente incerto sem o benefício de tais serviços científicos.

O que se segue é a resposta inicial (incorreta) (veja especialmente o comentário do cardeal)

Existem estimadores que convergem em probabilidade para uma variável aleatória: o caso da "regressão espúria" vem à mente, onde, se tentarmos regredir dois passeios aleatórios independentes (ou seja, processos estocásticos não estacionários) um sobre o outro, usando a estimativa de mínimos quadrados ordinários , o estimador OLS convergirá para uma variável aleatória.

Mas não existe um estimador consistente com variação diferente de zero, porque a consistência é definida como a convergência na probabilidade de um estimador para uma constante que, por concepção, tem variação zero.

— Alecos Papadopoulos
fonte

@ cardinal Obrigado pela intervenção, e ficarei feliz em corrigi-la. Posso ter uma dica de como eu poderia começar a procurar um estimador consistente cuja variação converge para um número finito? (O caso de variação infinita / indefinida é um caso conhecido e deveria ter sido mencionado - mas o caso finito diferente de zero é realmente interessante). Ou descrevi incorretamente a propriedade da consistência?

— Alecos Papadopoulos

O exemplo que eu dei no comentário vinculado na minha nota ao OP tem uma variação limitante finita. A consistência lida com a convergência em probabilidade, que você anotou corretamente. Mas, para que a variação chegue a zero, temos que controlar as caudas (também). Isso está relacionado à relação entre convergência e convergência em probabilidade.

L_{p}

$L_p$

— cardeal

Eu coloquei um exemplo de convergência em probabilidade, sempre com variação sempre positiva e finita em minha resposta aqui.

— Ekvall

@ cardinal Se você não acredita mais que a resposta atual esteja incorreta, talvez você possa excluir seu comentário ou postar um novo comentário para confirmar que a resposta atual não está mais incorreta? Do ponto de vista de um leitor, ter uma resposta votada dizendo que uma resposta está incorreta é confuso (e obriga a começar a verificar as cronologias de edição).

— Silverfish

O comentário do @Silverfish Cardinal na verdade se refere à minha resposta inicial (a parte sob a barra cinza perto do final do post). Exatamente porque essa resposta inicial gerou comentários que ainda estão presentes, eu a deixei excluída, abaixo da nova resposta. Eu adicionei algo na barra cinza para ajudar um pouco com a confusão.

— Alecos Papadopoulos

Pegue qualquer amostra da distribuição com expectativa finita e variação infinita ( Pareto com por exemplo) .Em seguida, a média da amostra convergirá para a expectativa devido à lei ou a grandes números (o que requer apenas a existência da média) e a variação será infinita. $\alpha\in(1,2]$

— mpiktas
fonte

A variação é infinita quando, digamos, ? Ou é indefinido nesse caso?

α = 1.5

$\alpha = 1.5$

— Alecos Papadopoulos

Bem, é infinito, se olharmos para a área abaixo da curva para a interpretação da integral.

— mpiktas 31/01

Deixe-me dar um exemplo de uma sequência de variável aleatória convergindo para zero em probabilidade, mas com variação infinita. Em essência, um estimador é apenas uma variável aleatória; portanto, com um pouco de abstração, você pode ver que a convergência em probabilidade para uma constante não implica em variação próxima de zero.

Considere a variável aleatória em onde a medida de probabilidade considerada é a medida de Lebesgue. Claramente, mas para todos para que sua variação não chegue a zero. $\xi_n(x):=\chi_{[0,1/n]}(x)x^{-1/2}$ $[0,1]$ $P(\xi_n(x)>0)=1/n\to0$

\int ξ_{n}^{2} d P = \int_{0 0}^{1 / n} x^{- 1} d x = registro (x) ∣_{0 0}^{1 / n} = \infty,

$\int\xi_n^2dP=\int_{0}^{1/n}x^{-1}dx=\log(x)\mid _{0}^{1/n}=\infty,$

n

$n$

Agora, apenas crie um estimador onde, conforme sua amostra cresce, você estima o valor verdadeiro com um sorteio de . Observe que esse estimador não é imparcial para 0, mas, para torná-lo imparcial, você pode simplesmente definir com igual probabilidade 1/2 e usá-lo como seu estimador. O mesmo argumento para convergência e variação claramente se aplica. $\mu=0$ $\xi_n$ $\eta_n:=\pm\xi_n$

Editar: se você quiser um exemplo em que a variação seja finita, e considere wp 1/2.

ξ_{n} (x) : = χ_{[0 0, 1 / n]} (x) \sqrt{n},

$\xi_n(x):=\chi_{[0,1/n]}(x)\sqrt{n},$

η_{n} := \pm ξ_{n}

$\eta_n:=\pm\xi_n$

— ekvall
fonte