Intervalo de confiança para variação dada uma observação

Este é um problema da "7ª Olimpíada de Estudantes de Kolmogorov na Teoria da Probabilidade":

Dada uma observação de uma distribuição com ambos os parâmetros desconhecidos, forneça um intervalo de confiança para com um nível de confiança de pelo menos 99%. $X$ $\operatorname{Normal}(\mu,\sigma^2)$ $\sigma^2$

Parece-me que isso deveria ser impossível. Eu tenho a solução, mas ainda não a li. Alguma ideia?

Vou postar a solução em alguns dias.

[Acompanhamento editar: solução oficial postada abaixo. A solução do Cardinal é mais longa, mas oferece um melhor intervalo de confiança. Agradecemos também a Max e Glen_b por sua contribuição.]

— Jonathan Christensen
fonte

Parece impossível para mim também; Aguardo a resposta

— Peter Flom - Reinstate Monica

Confira este site .

— assumednormal

Aqui está um artigo com melhor formatação: papel .

— assumednormal

Heh. Lembro-me de ler um artigo sobre essas coisas (intervalos de uma observação) há muitos anos. Pode ter sido esse .

— Glen_b -Reinstala Monica 2/12/12

@ Max, obrigado pelo link! Ainda não tive tempo de olhar atentamente, mas farei. Eu postei a resposta "oficial" abaixo.

— Jonathan Christensen

Respostas:

Visto pelas lentes das desigualdades de probabilidade e conexões com o caso de observação múltipla, esse resultado pode não parecer tão impossível ou, pelo menos, parecer mais plausível.

Permita que com e desconhecido. Podemos escrever para . $\renewcommand{\Pr}{\mathbb P}\newcommand{\Ind}[1]{\mathbf 1_{(#1)}}X \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $X = \sigma Z + \mu$ $Z \sim \mathcal N(0,1)$

Reivindicação principal : é um intervalo de confiança para que é o quantil level de uma distribuição qui-quadrado com um grau de liberdade. Além disso, uma vez que este intervalo tem exactamente cobertura quando , que é o mais estreito intervalo possível da forma para alguns . $[0,X^2/q_\alpha)$ $(1-\alpha)$ $\sigma^2$ $q_\alpha$ $\alpha$ $(1-\alpha)$ $\mu = 0$ $[0,b X^2)$ $b \in \mathbb R$

Uma razão para otimismo

Lembre-se de que no caso , com , o intervalo de confiança típico para é que é o quantil -level de um qui-quadrado com graus de liberdade. Isso, é claro, vale para qualquer . Embora este seja o intervalo mais popular (chamado de intervalo de cauda igual por razões óbvias), não é o único nem o de menor largura! Como deve ser aparente, outra seleção válida é $n \geq 2$ $T = \sum_{i=1}^n (X_i - \bar X)^2$ $(1-\alpha)$ $\sigma^2$

(\frac{T}{q_{n - 1, (1 - α) / 2}}, \frac{T}{q_{n - 1, α / 2}}),

$\Big(\frac{T}{q_{n-1,(1-\alpha)/2}}, \frac{T}{q_{n-1,\alpha/2}} \Big) \>,$

q_{k, a}

$q_{k,a}$

a

$a$

k

$k$

μ

$\mu$

(0, \frac{T}{q_{n - 1, α}}) .

$\Big(0,\frac{T}{q_{n-1,\alpha}}\Big) \>.$

Como , então também tem cobertura de pelo menos . $T \leq \sum_{i=1}^n X_i^2$

(0, \frac{\sum_{i = 1}^{n} X_{i}^{2}}{q_{n - 1, α}}),

$\Big(0,\frac{\sum_{i=1}^n X_i^2}{q_{n-1,\alpha}}\Big) \>,$

(1 - α)

$(1-\alpha)$

Visto sob essa luz, podemos estar otimistas de que o intervalo na reivindicação principal é verdadeiro para . A principal diferença é que não há distribuição qui-quadrado de zero grau de liberdade para o caso de uma única observação; portanto, devemos esperar que o uso de um quantil de um grau de liberdade funcione. $n = 1$

Meio passo em direção ao nosso destino ( explorando a cauda direita )

Antes de mergulhar em uma prova da alegação principal, vamos primeiro examinar uma alegação preliminar que não é tão forte ou satisfatória estatisticamente, mas talvez ofereça algumas informações adicionais sobre o que está acontecendo. Você pode pular para a prova da reivindicação principal abaixo, sem muito (se houver) perda. Nesta seção e na próxima, as provas - embora um pouco sutis - são baseadas apenas em fatos elementares: monotonicidade de probabilidades e simetria e unimodalidade da distribuição normal.

Reivindicação auxiliar : é um intervalo de confiança para desde que . Aqui é o quantil level de um normal padrão. $[0,X^2/z^2_\alpha)$ $(1-\alpha)$ $\sigma^2$ $\alpha > 1/2$ $z_\alpha$ $\alpha$

Prova . epor simetria, portanto, no que se segue, podemos obter sem perda de generalidade. Agora, para e , e, com , vemos que Isso funciona apenas para , pois é isso que é necessário para . $|X| = |-X|$ $|\sigma Z + \mu| \stackrel{d}{=} |-\sigma Z+\mu|$ $\mu \geq 0$ $\theta \geq 0$ $\mu \geq 0$

P (| X | > θ) \geq P (X > θ) = P (σ Z + μ > θ) \geq P (Z > θ / σ),

$\Pr(|X| > \theta) \geq \Pr( X > \theta) = \Pr( \sigma Z + \mu > \theta) \geq \Pr( Z > \theta/\sigma) \>,$

θ = z_{α} σ

$\theta = z_{\alpha} \sigma$

P (0 \leq σ^{2} < X^{2} / z_{α}^{2}) \geq 1 - α .

$\Pr(0 \leq \sigma^2 < X^2 / z^2_\alpha) \geq 1 - \alpha \>.$

α > 1 / 2

$\alpha > 1/2$

z_{α} > 0

$z_\alpha > 0$

Isso prova a reivindicação auxiliar. Embora ilustrativo, é desagradável do ponto de vista estatístico, pois requer um absurdamente grande para funcionar. $\alpha$

Comprovando a reivindicação principal

Um refinamento do argumento acima leva a um resultado que funcionará para um nível de confiança arbitrário. Primeiro, observe que Definir e . Então, Se pudermos mostrar que o lado direito aumenta em para cada fixo , podemos empregar um argumento semelhante ao do argumento anterior. Isso é pelo menos plausível, pois gostaríamos de acreditar que, se a média aumentar, torna-se mais provável que vejamos um valor com um módulo que exceda

P (| X | > θ) = P (| Z + μ / σ | > θ / σ) .

$\Pr(|X| > \theta) = \Pr(|Z + \mu/\sigma| > \theta / \sigma ) \>.$

a = μ / σ \geq 0

$a = \mu/\sigma \geq 0$

b = θ / σ \geq 0

$b = \theta / \sigma \geq 0$

P (| Z + a | > b) = Φ (a - b) + Φ (- a - b) .

$\Pr(|Z + a| > b) = \Phi(a-b) + \Phi(-a-b) \>.$

a

$a$

b

$b$

b

$b$ . (No entanto, devemos observar a rapidez com que a massa está diminuindo na cauda esquerda!)

Defina . Então Observe que e para positivo , está diminuindo em . Agora, para , é fácil ver que . Esses fatos juntos facilmente implicam que para todo e qualquer fixo . $f_b(a) = \Phi(a-b) + \Phi(-a-b)$

f_{b}^{'} (a) = φ (a - b) - φ (- a - b) = φ (a - b) - φ (a + b) .

$f'_b(a) = \varphi(a-b) - \varphi(-a-b) = \varphi(a-b) - \varphi(a+b) \>.$

f_{b}^{'} (0) = 0

$f'_b(0) = 0$

u

$u$

φ (u)

$\varphi(u)$

u

$u$

a \in (0, 2 b)

$a \in (0,2b)$

φ (a - b) \geq φ (- b) = φ (b)

$\varphi(a-b) \geq \varphi(-b) = \varphi(b)$

f_{b}^{'} (a) \geq 0

$f'_b(a) \geq 0$

a \geq 0

$a \geq 0$

b \geq 0

$b \geq 0$

Assim, temos mostrado que para e , $a \geq 0$ $b \geq 0$

P (| Z + a | > b) \geq P (| Z | > b) = 2 Φ (- b) .

$\Pr(|Z + a| > b) \geq \Pr(|Z| > b) = 2\Phi(-b) \>.$

Desvendando tudo isso, se tomarmos , obteremos que estabelece a reivindicação principal. $\theta = \sqrt{q_\alpha} \sigma$

P (X^{2} > q_{α} σ^{2}) \geq P (Z^{2} > q_{α}) = 1 - α,

$\Pr(X^2 > q_\alpha \sigma^2) \geq \Pr(Z^2 > q_\alpha) = 1 - \alpha \>,$

Observação final : Uma leitura cuidadosa do argumento acima mostra que ele usa apenas as propriedades simétricas e unimodais da distribuição normal. Portanto, a abordagem funciona de forma análoga para obter intervalos de confiança a partir de uma única observação de qualquer família de escala de localização unimodal simétrica, por exemplo, distribuições de Cauchy ou Laplace.

— cardeal
fonte

Uau! e espera-se que os alunos apresentem esse tipo de argumento no curto período de um exame da Olimpíada?

— precisa saber é o seguinte

@Dilip: não faço ideia! Não estou familiarizado com o formato dessa Olimpíada ou com o que é esperado em termos de solução. De uma leitura literal, acho que a resposta de Scortchi seria aceitável. Eu estava mais interessado em tentar descobrir até que ponto alguém poderia chegar com uma solução "não trivial". Minha própria exploração (bastante mínima) seguiu a mesma linha de pensamento descrita na resposta (com um desvio). É bem provável que exista uma solução melhor. :-)

— cardeal

Isso é consideravelmente mais longo do que a solução "oficial", mas fornece uma ligação melhor à variação, por isso estou marcando-a como a resposta "correta". Postei a resposta "oficial" abaixo, bem como alguns resultados e discussões de simulação. Obrigado, @ cardinal!

— Jonathan Christensen

@ Jonathan: Obrigado. Sim, eu poderia ter tornado a prova um pouco mais concisa. Devido à grande variedade de antecedentes dos participantes aqui, muitas vezes eu me permito com detalhes extras (ou, talvez, excessivos). :-)

— cardeal

Hora de acompanhar! Aqui está a solução que me foi dada:

Construiremos um intervalo de confiança no formato , onde é uma estatística. Por definição, este será um intervalo de confiança com nível de confiança de pelo menos 99% se Observamos que a densidade da distribuição não excede . Portanto, para cada . Segue que Conectando $[0,T(X))$ $T(\cdot)$
$(\forall μ \in R) (\forall σ > 0) P_{μ, σ_{2}} (σ^{2} > T (X)) < 0.01.$ $(\forall \mu \in \mathbb R )(\forall \sigma > 0)\; \mathbb P_{\mu,\sigma_2}(\sigma^2 > T(X)) < 0.01.$ $\mathcal{N}(\mu,\sigma^2)$ $1/\sigma\sqrt{2\pi}$ $\mathbb{P}(|X| \leq a) \leq a/\sigma$ $a \geq 0$ $t \geq P (| X | / σ \leq t) = P (X^{2} \leq t^{2} σ^{2}) = P (σ^{2} \geq X^{2} / t^{2}) .$ $t \geq \mathbb P (|X|/\sigma \leq t) = \mathbb P (X^2 \leq t^2\sigma^2) = \mathbb P (\sigma^2 \geq X^2/t^2).$ $t = 0.01$ obtemos que a estatística apropriada é $T(X) = 10000X^2.$

O intervalo de confiança (que é muito amplo) é um pouco conservador na simulação, sem cobertura empírica (em 100.000 simulações) menor que 99,15%, pois variei o CV em várias ordens de magnitude.

Para comparação, também simulei o intervalo de confiança do cardeal. Devo observar que o intervalo do cardeal é um pouco menor - no caso de 99%, ele acaba chegando a cerca de , em oposição aos na solução fornecida. A cobertura empírica é correta no nível nominal, novamente em muitas ordens de magnitude para o CV. Então o intervalo dele definitivamente vence. $6300X^2$ $10000X^2$

Não tive tempo de olhar atentamente para o artigo publicado por Max, mas pretendo dar uma olhada nisso e posso acrescentar alguns comentários a respeito mais tarde (ou seja, antes de uma semana). Esse artigo reivindica um intervalo de confiança de 99% de , que possui uma cobertura empírica ligeiramente menor (cerca de 98,85%) do que a cobertura nominal para currículos grandes em minhas breves simulações. $(0,4900X^2)$

— Jonathan Christensen
fonte

(+1) Essa é uma boa solução. Você deve ter vez de na equação de exibição?

t \geq \dots

$t \geq \cdots$

t \leq \dots

$t \leq \cdots$

— cardeal

Mais alguns pontos: sua solução pode ser muito próxima da minha, sem nenhuma alteração no argumento. Observe que você pode reivindicar que . Então o intervalo se torna para qualquer . O uso de produz versus na minha resposta. Quanto maior o nível de confiança (ou seja, menor o ), mais próximo o seu método se compara do meu (embora seu intervalo seja sempre maior).

P (| X | \leq a) \leq 2 a / σ \sqrt{2 π}

$\mathbb P(|X| \leq a) \leq 2 a / \sigma \sqrt{2\pi}$

(0, 2 X^{2} / π α^{2})

$(0,2X^2/\pi\alpha^2)$

α

$\alpha$

α = 0.01

$\alpha = 0.01$

T (X) \approx 6366.198 X^{2}

$T(X) \approx 6366.198 X^2$

1 / q_{0.01} \approx 6365.864

$1/q_{0.01} \approx 6365.864$

α

$\alpha$

— cardeal

Segundo, não examinei esse artigo, mas tenho fortes dúvidas de que possa ser um intervalo de confiança de 99% válido. De fato, considere todos os intervalos de confiança da forma para alguns . Então, quando , temos que é exatamente qui-quadrado com um grau de liberdade e, portanto, o menor podemos selecionar nesse caso é . Em outras palavras, o intervalo dado na minha resposta é o mais estreito possível da forma declarada.

(0, 4900 X^{2})

$(0,4900 X^2)$

(0, b X^{2})

$(0, b X^2)$

b

$b$

μ = 0

$\mu = 0$

X^{2} / σ^{2}

$X^2/\sigma^2$

b

$b$

b = 1 / q_{α}

$b = 1/q_{\alpha}$

— cardeal

Fiz a correção (suspeita) de erro de digitação. Além disso, pchisq(1/4900,1,lower.tail=F)em Rretorno 0.9886, bem próximo dos resultados da simulação para o .

(0, 4900 X^{2})

$(0,4900X^2)$

— cardeal

Obrigado por todos os comentários, @ cardinal. Acho que a sua alteração está correta, embora eu a tenha digitado da maneira que estava nas soluções originais - erro de digitação, acho.

— Jonathan Christensen

Os ICs presumivelmente. $(0,\infty)$

— Scortchi - Restabelecer Monica
fonte

Eu acho que seria útil você dizer por que você não pode obter um intervalo de confiança de comprimento finito.

— assumido normal

@ Max Eu não sou inteligente o suficiente - mas a pergunta não pediu uma.

— Scortchi - Restabelece Monica

+1 para isso. A pergunta não dizia um IC com cobertura mínima e, de fato, implica que isso pode ser aceitável por meio de suas palavras curiosas, "um intervalo de confiança com um nível de confiança de pelo menos 99%".

— Ari B. Friedman