Um intervalo de confiança de

8

Digamos que sabemos o significado de uma determinada distribuição. Isso afeta a estimativa de intervalo da variação de uma variável aleatória (que de outra forma é calculada usando a variação da amostra)? Como em, podemos obter um intervalo menor para o mesmo nível de confiança?

normal-distribution confidence-interval variance

— martianwars
fonte

Atualizei significativamente minha resposta, acho que ela responde totalmente à pergunta do OP agora. As diferenças entre minhas e outras respostas se devem ao fato de eu estar implicitamente usando variações condicionais. Agora eu os expliquei. Basicamente, quando você fala sobre o intervalo de confiança do estimador de variância, deve levar em consideração o conhecimento da média da população.

— Aksakal

Parece que a pergunta deveria ser "podemos obter um intervalo mais preciso para o mesmo nível de confiança".

— Gregor Thomas

12

Não tenho certeza absoluta de que minha resposta esteja correta, mas argumentaria que não há um relacionamento geral. Aqui está o meu ponto:

Vamos estudar o caso em que o intervalo de confiança da variação é bem compreendido, viz. amostragem de uma distribuição normal (como você indica na tag da pergunta, mas não realmente a pergunta em si). Veja a discussão aqui e aqui .

Um intervalo de confiança para segue do pivô , em que . (Esta é apenas outra maneira de escrever a expressão possivelmente mais familiar , em que ) $\sigma^2$ $T=n\hat{\sigma}^2/\sigma^2\sim\chi^2_{n-1}$ $\hat{\sigma}^2=1/n\sum_i(X_i-\bar{X})^2$ $T=(n-1)s^2/\sigma^2\sim\chi^2_{n-1}$ $s^2=1/(n-1)\sum_i(X_i-\bar{X})^2$

Assim, temos Portanto, um intervalo de confiança é . Podemos escolher e como quantis e .

\begin{aligned} 1 - α & = Pr {c_{l}^{n - 1} < T < c_{u}^{n - 1}} \\ = Pr {\frac{c_{l}^{n - 1}}{n {\hat{σ}}^{2}} < \frac{1}{σ^{2}} < \frac{c_{u}^{n - 1}}{n {\hat{σ}}^{2}}} \\ = Pr {\frac{n {\hat{σ}}^{2}}{c_{u}^{n - 1}} < σ^{2} < \frac{n {\hat{σ}}^{2}}{c_{l}^{n - 1}}} \end{aligned}

$\begin{align*} 1-\alpha&=\Pr\{c_l^{n-1}<T<c_u^{n-1}\}\\ &=\Pr\left\{\frac{c_l^{n-1}}{n\hat{\sigma}^2}<\frac{1}{\sigma^2}<\frac{c_u^{n-1}}{n\hat{\sigma}^2}\right\}\\ &=\Pr\left\{\frac{n\hat{\sigma}^2}{c_u^{n-1}}<\sigma^2<\frac{n\hat{\sigma}^2}{c_l^{n-1}}\right\} \end{align*}$

(n {\hat{σ}}^{2} / c_{u}^{n - 1}, n {\hat{σ}}^{2} / c_{l}^{n - 1})

$(n\hat{\sigma}^2/c_u^{n-1},n\hat{\sigma}^2/c_l^{n-1})$

c_{l}^{n - 1}

$c_l^{n-1}$

c_{u}^{n - 1}

$c_u^{n-1}$

c_{u}^{n - 1} = χ_{n - 1, 1 - α / 2}^{2}

$c_u^{n-1}=\chi^2_{n-1,1-\alpha/2}$

c_{l}^{n - 1} = χ_{n - 1, α / 2}^{2}

$c_l^{n-1}=\chi^2_{n-1,\alpha/2}$

(Observe que, para qualquer variação que calcule que, como a é enviesada, os quantis produzirão um ci com a probabilidade de cobertura correta, mas não serão ideais, ou seja, os mais curtos possíveis. Para que o intervalo seja o mais curto possível, exigimos que a densidade seja idêntica nas extremidades inferior e superior do ci, dadas algumas condições adicionais, como a unimodalidade. Não sei se o uso desse ci ideal mudaria as coisas nesta resposta.) $\chi^2$

Conforme explicado nos links, , em que usa o conhecido significar. Portanto, obtemos outro intervalo de confiança válido Aqui, e serão, assim, quantis da 2_n. $T'=ns_0^2/\sigma^2\sim\chi^2_n$ $s_0^2=\frac{1}{n}\sum_i(X_i-\mu)^2$

\begin{aligned} 1 - α & = Pr {c_{l}^{n} < T^{'} < c_{u}^{n}} \\ = Pr {\frac{n s_{0}^{2}}{c_{u}^{n}} < σ^{2} < \frac{n s_{0}^{2}}{c_{l}^{n}}} \end{aligned}

$\begin{align*} 1-\alpha&=\Pr\{c_l^{n}<T'<c_u^{n}\}\\ &=\Pr\left\{\frac{ns_0^2}{c_u^{n}}<\sigma^2<\frac{ns_0^2}{c_l^{n}}\right\} \end{align*}$

c_{l}^{n}

$c_l^{n}$

c_{u}^{n}

$c_u^{n}$

χ_{n}^{2}

$\chi^2_n$

As larguras dos intervalos de confiança são e A largura relativa é Sabemos que como a média da amostra minimiza a soma dos desvios ao quadrado. Além disso, vejo poucos resultados gerais em relação à largura do intervalo, pois não conheço resultados claros de como as diferenças e os produtos dos quantis superior e inferior se comportam à medida que aumentamos os graus de liberdade em um (mas veja a figura abaixo).

w_{T} = \frac{n {\hat{σ}}^{2} (c_{u}^{n - 1} - c_{l}^{n - 1})}{c_{l}^{n - 1} c_{u}^{n - 1}}

$w_T=\frac{n\hat{\sigma}^2(c_u^{n-1}-c_l^{n-1})}{c_l^{n-1}c_u^{n-1}}$

w_{T^{'}} = \frac{n s_{0}^{2} (c_{u}^{n} - c_{l}^{n})}{c_{l}^{n} c_{u}^{n}}

$w_{T'}=\frac{ns_0^2(c_u^{n}-c_l^{n})}{c_l^{n}c_u^{n}}$

\frac{w_{T}}{w_{T^{'}}} = \frac{{\hat{σ}}^{2}}{s_{0}^{2}} \frac{c_{u}^{n - 1} - c_{l}^{n - 1}}{c_{u}^{n} - c_{l}^{n}} \frac{c_{l}^{n} c_{u}^{n}}{c_{l}^{n - 1} c_{u}^{n - 1}}

$\frac{w_T}{w_{T'}}=\frac{\hat{\sigma}^2}{s_0^2}\frac{c_u^{n-1}-c_l^{n-1}}{c_u^{n}-c_l^{n}}\frac{c_l^{n}c_u^{n}}{c_l^{n-1}c_u^{n-1}}$

{\hat{σ}}^{2} / s_{0}^{2} \leq 1

$\hat{\sigma}^2/s_0^2\leq1$

χ^{2}

$\chi^2$

Por exemplo, deixar

r_{n} := \frac{c_{u}^{n - 1} - c_{l}^{n - 1}}{c_{u}^{n} - c_{l}^{n}} \frac{c_{l}^{n} c_{u}^{n}}{c_{l}^{n - 1} c_{u}^{n - 1}},

$r_n:=\frac{c_u^{n-1}-c_l^{n-1}}{c_u^{n}-c_l^{n}}\frac{c_l^{n}c_u^{n}}{c_l^{n-1}c_u^{n-1}},$ temos

r_{10} \approx 1.226

$r_{10}\approx1.226$ para e , o que significa que o ci baseado em irá ser menor se

α = 0.05

$\alpha=0.05$

n = 10

$n=10$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

{\hat{σ}}^{2} \leq \frac{s_{0}^{2}}{1.226}

$\hat{\sigma}^2\leq\frac{s_0^2}{1.226}$

Usando o código abaixo, fiz um pequeno estudo de simulação, sugerindo que o intervalo baseado em vencerá na maioria das vezes. (Veja o link publicado na resposta de Aksakal para obter uma racionalização de grande amostra desse resultado.) $s_0^2$

A probabilidade parece se estabilizar em , mas não conheço uma explicação analítica de amostra finita: $n$

    rm(list=ls())

IntervalLengthsSigma2 <- function(n,alpha=0.05,reps=100000,mu=1) {
  cl_a <- qchisq(alpha/2,df = n-1)
  cu_a <- qchisq(1-alpha/2,df = n-1)
  cl_b <- qchisq(alpha/2,df = n)
  cu_b <- qchisq(1-alpha/2,df = n)

  winners02 <- rep(NA,reps)

  for (i in 1:reps) {
    x <- rnorm(n,mean=mu)
    xbar <- mean(x)
    s2 <- 1/n*sum((x-xbar)^2)
    s02 <- 1/n*sum((x-mu)^2)

    ci_a <- c(n*s2/cu_a,n*s2/cl_a)
    ci_b <- c(n*s02/cu_b,n*s02/cl_b)

    winners02[i] <- ifelse(ci_a[2]-ci_a[1]>ci_b[2]-ci_b[1],1,0)  
  }
  mean(winners02)
}

nvalues <- matrix(seq(5,200,by=10)) 
plot(nvalues,apply(nvalues,1,IntervalLengthsSigma2),pch=19,col="lightblue",type="b")

A figura a seguir plota contra , revelando (como a intuição sugere) que a razão tende a 1. Como, além disso, para grande, a diferença entre as larguras dos dois cis desaparecer como . (Veja novamente o link postado na resposta de Aksakal para uma racionalização de grande amostra desse resultado.) $r_n$ $n$ $\bar{X}\to_p\mu$ $n$ $n\to\infty$

— Christoph Hanck
fonte

1

Boa solução, mas você pode dizer qual largura tem mais chances de ganhar?

— martianwars

1

Você precisaria da distribuição de probabilidade de , sua inversa ou de ou algo relacionado. Isso permitiria calcular a probabilidade de vitória analiticamente.

w_{T} / w_{T}^{'}

$w_T/w_T'$

w_{T} - w_{T}^{'}

$w_T-w_T'$

— Christoph Hanck

1

Sim, é por isso que e .

T = n {\hat{σ}}^{2} / σ^{2} \sim χ_{n - 1}^{2}

$T=n\hat{\sigma}^2/\sigma^2\sim\chi^2_{n-1}$

T^{'} = n s_{0}^{2} / σ^{2} \sim χ_{n}^{2}

$T'=ns_0^2/\sigma^2\sim\chi^2_n$

— Christoph Hanck

1

Atualmente, não tenho acesso ao artigo, mas, se é "apenas" a variação dos estimadores, não vejo discordância necessária (e minha simulação confirma que o conhecido- normalmente faz melhor): que um estimador faz melhor que outro um em termos de variância não impede que o "pior" faz melhor em qualquer amostra - um pouco ao longo da linha do que @Scortchi diz

μ

$\mu$

— Christoph Hanck

1

Eu acho importante notar que sua simulação mostra que, como , parece não haver diferença. Não leva em conta o que acontece quando , o comprimento de aumenta. Percebo que foi assumido como 1, mas a diferença entre e se torna muito mais importante à medida que cresce.

n \to \infty

$n\rightarrow \infty$

k

$k$

μ

$\mu$

s

$s$

\hat{σ}

$\hat \sigma$

k

$k$

— Cliff AB

7

Deixe-me primeiro configurar o problema. Sabemos a média da população. Este é um ponto muito importante a ser destacado no início, porque sem ele, não teremos uma resposta significativa.

Eu vou explicar o porquê. Digamos que temos uma amostra e não sabemos a média da população. Temos um estimador usual da variância:

σ = \frac{1}{n - 1} s u m_{i} (x_{i} - \bar{x})^{2}

$\sigma=\frac{1}{n-1}sum_i(x_i-\bar x)^2$

Agora, somos informados de que a média da população é . Nosso primeiro instinto é conectá-lo ao estimador de variância: $\mu$

σ^{'} = \frac{1}{n} s u m_{i} (x_{i} - μ)^{2}

$\sigma'=\frac{1}{n}sum_i(x_i-\mu)^2$

Observe que agora é um estimador diferente! Tem denominador diferente, etc. Tem uma variação diferente em si.

No entanto, é correto comparar e ? Não, não é. $Var[\sigma]$ $Var[\sigma']$

Temos que comparar e . Em outras palavras, temos que comparar a variação desses dois estimadores, condicionada ao conhecimento da média da população! Caso contrário, cairemos no paradoxo de @ Scortchi. $Var[\sigma|E[x_i]=\mu]$ $Var[\sigma'|E[x_i]=\mu]$

Quando você obtém novas informações, ou seja, , você deve incluí-las na estimativa de ! Isso resolve o paradoxo de @ Scortchi em seu comentário diretamente. As equações que vi até agora nas respostas não incluem o conhecimento de no IC ou a variância do estimador de variância . No exemplo de @ Scortchi, saber que levaria a uma revisão do CI of . $E[x_i]=\mu$ $Var[\sigma]$ $\mu$ $\sigma$ $\bar x>>\mu$ $\sigma$

Portanto, minha resposta aqui segue a configuração que acabei de descrever.

Sim, o intervalo de confiança teria sido mais estreito.

Filosoficamente, conhecer a média da população é uma informação adicional; portanto, a incerteza deve ser menor neste caso.

Exemplo: se sua distribuição for Poisson, a variação será igual à média. Portanto, conhecer significa que você também conhece a variação, e o intervalo de confiança diminui a um ponto. Não há intervalo.

ATUALIZAÇÃO: Veja este artigo : "Estimando uma variação populacional com média conhecida" de Zhang, 1996. Ele compara a estimativa padrão de variação vs aquele que usa o conhecimento da população significa . Ele chega à mesma conclusão: a variação da última estimativa é menor que a da anterior, ou seja, o intervalo de confiança da estimativa de variância seria mais estreito. Ele também mostra que a vantagem desaparece quando o tamanho da amostra tende ao infinito. $\frac{1}{n-1}\sum_i(x_i-\bar x)^2$ $\frac{1}{n}\sum_i(x_i-\mu)^2$

Penso que este artigo é a resposta definitiva para sua pergunta.

— Aksakal
fonte

isso não está em desacordo com a minha resposta (pelo menos nessa generalidade - eu certamente concordo com o bom exemplo de Poisson)?

— Christoph Hanck

1

Bem, há uma diferença entre a duração esperada do intervalo de confiança e a duração do intervalo de confiança que você pode calcular a partir de um conjunto de dados específico (considere o que acontece quando a média da amostra está, incomumente, muito longe da verdadeira média da população) .

— Scortchi - Reinstate Monica

+1, sua opinião sobre a distribuição de Poisson (e distribuições em que a variação é uma função da média geralmente) é boa. No entanto, observe que o OP parece ter a distribuição normal em mente e, como mostra a resposta de @ ChristophHanck, a situação é mais complicada lá.

— gung - Restabelece Monica

@ Scortchi, veja minha resposta ao seu comentário. A essência: estamos respondendo a perguntas diferentes. Estou comparando os estimadores DIFERENTES sob a mesma suposição de média populacional conhecida.

— Aksakal

2

Não sei se entendi o que você quer dizer com . Isso significa ? Se não, então o que mais? Se sim, talvez seu argumento seja mais claro se você o escrever dessa maneira.

Var [σ | E [x_{i}] = μ]

$\operatorname{Var}[\sigma|\operatorname{E}[x_i]=\mu]$

Var [σ | \bar{x} = μ]

$\operatorname{Var}[\sigma|\bar x =\mu]$

— Ameba

3

Estendendo a resposta de @Cristoph Hanck um pouco, e adaptando seu código…

Suponha que o Sr. A desconheça a verdadeira média ou as estatísticas, e o Sr. B desconheça nenhum dos dois. Pode parecer estranho, até injusto, que o Sr. A possa obter um intervalo de confiança mais curto para a variação usando o pivô que o Sr. B usando o pivô . Mas no longo prazo, o Sr. B ganha em vez de um sentido forte: seus intervalos de confiança são estocasticamente estreito-para qualquer largura o cuidado de especificar, a proporção de CIs do Sr. B mais estreitas do que é maior do que a proporção de Mr de um. $T$ $T'$ $w$ $w$

Reunir o subconjunto de casos em que o IC do Sr. A sai mais estreito mostra que nesses casos ele tem uma cobertura mais baixa (cerca de 91%); mas ele paga por isso com maior cobertura (cerca de 96%) no subconjunto de casos em que seu intervalo é maior, obtendo a cobertura correta (95%) no geral. É claro que o Sr. A não sabe quando o IC está em qual subconjunto. E um esperto Sr. C, que conhece a verdadeira média e escolhe ou acordo com os quais resulta no IC mais restrito, eventualmente será exposto quando seus intervalos falharem em manter a suposta cobertura de 95%. $T$ $T'$

IntervalLengthsSigma2 <- function(n,alpha=0.05,reps=100000,mu=1) {
  cl_a <- qchisq(alpha/2,df = n-1)
  cu_a <- qchisq(1-alpha/2,df = n-1)
  cl_b <- qchisq(alpha/2,df = n)
  cu_b <- qchisq(1-alpha/2,df = n)

  winners02 <- rep(NA,reps)
  width.a <- rep(NA,reps)
  width.b <- rep(NA,reps)
  sigma2.in.a <- rep(NA,reps)
  sigma2.in.b <- rep(NA,reps)

  for (i in 1:reps) {
    x <- rnorm(n,mean=mu)
    xbar <- mean(x)
    s2 <- 1/n*sum((x-xbar)^2)
    s02 <- 1/n*sum((x-mu)^2)

    ci_a <- c(n*s2/cu_a,n*s2/cl_a)
    ci_b <- c(n*s02/cu_b,n*s02/cl_b)

    winners02[i] <- ifelse(ci_a[2]-ci_a[1]>ci_b[2]-ci_b[1],1,0) 
    ci_a[2]-ci_a[1] -> width.a[i]
    ci_b[2]-ci_b[1] -> width.b[i]
    ifelse(ci_a[1]< 1 & ci_a[2] > 1, 1, 0) -> sigma2.in.a[i]
    ifelse(ci_b[1]< 1 & ci_b[2] > 1, 1, 0) -> sigma2.in.b[i]
  }

 list(n=n, width.a=width.a,width.b=width.b, sigma2.in.a=sigma2.in.a, sigma2.in.b=sigma2.in.b, winner=winners02)
}

# simulate for sample size of 6
IntervalLengthsSigma2(n=6) -> sim

# plot empirical CDFs of CI widths for mean known & mean unknown
plot(ecdf(sim$width.a), xlab="CI width", ylab="empirical CDF", sub=paste("n=",sim$n), main="")
lines(ecdf(sim$width.b), col="red")
legend("bottomright", lty=1, col=c("black", "red"), legend=c("mean unknown (Mr A)", "mean known (Mr B)"))

# coverage with mean unknown:
mean(sim$sigma2.in.a)
# coverage with mean unknown when CI is narrower than with mean known:
mean(sim$sigma2.in.a[sim$winner==0])
# coverage with mean unknown when CI is wider than with mean known:
mean(sim$sigma2.in.a[sim$winner==1])

# coverage with mean known:
mean(sim$sigma2.in.b)
# coverage with mean known when CI is wider than with mean unknown:
mean(sim$sigma2.in.b[sim$winner==0])
# coverage with mean known when CI is narrower than with mean unknown;
mean(sim$sigma2.in.b[sim$winner==1])

— Scortchi - Restabelecer Monica
fonte

2

Não posso comentar, mas a afirmação abrangente de Aksakal "conhecer a média da população é uma informação adicional, portanto a incerteza deve ser menor neste caso" não é evidente.

No caso normalmente distribuído, o estimador de probabilidade máxima da variação quando é desconhecido: $\mu$

\frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}

$\frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$

tem uma variação uniformemente menor do que

\frac{1}{n} \sum_{i = 1}^{n} (X_{i} - μ)^{2}

$\frac{1}{n} \sum_{i=1}^{n} (X_i - \mu)^2$

para quaisquer valores de $\mu, \sigma$

— Rand Forrester
fonte

Você leu o jornal na minha resposta?

— Aksakal

Não, mas a variação imparcial da amostra mencionada na atualização não é o estimador de probabilidade máxima, portanto, não tenho certeza de que o papel seja relevante. Você pode fazer um estudo rápido de simulação para verificar minha reivindicação.

— Rand Forrester

mesmo se você usar seu estimador, o que quero dizer é que, para ter uma comparação significativa, é necessário calcular a variação do estimador condicionada ao conhecimento de . O que você acha que é a variação de dois estimadores que você forneceu? Antes de responder à minha pergunta, verifique se ambos incluem de alguma forma.

μ

$\mu$

μ

$\mu$

— Aksakal

2

Aksakal, eu estou falando sobre comparar a variância amostral do MLE de quando você faz vs. não sabe . Nesse contexto, não sei o que "calcular a variação do estimador condicional ao conhecimento " significa. Em relação à sua pergunta, não há necessidade de fazer um cálculo exato. Um simples estudo de simulação verificará o que estou dizendo.

\hat{σ}

$\hat \sigma$

μ

$\mu$

μ

$\mu$

— Rand Forrester

3

Olha, eu não ficaria surpreso se você estiver certo, mas se você quer dizer que sou incompetente, esclareça o que significa "condicional em ". "Condicional" só tem uma definição técnica (tanto quanto eu sei) quando se refere a variáveis aleatórias. Eu assumi que era uma referência abreviada à estimativa de quando se supõe que seja conhecido, por exemplo, o MLE, em oposição ao MLE de quando você não sabe : Parece que você quer dizer outra coisa. Gostaria de receber um esclarecimento. Obrigado.

μ

$\mu$

σ

$\sigma$

μ

$\mu$

\frac{1}{n} \sum (X_{i} - μ)^{2}

$\frac{1}{n} \sum (X_i - \mu)^2$

σ

$\sigma$

μ

$\mu$

\frac{1}{n} \sum (X_{i} - \bar{X})^{2}

$\frac{1}{n} \sum (X_i - \overline{X} )^2$

— Rand Forrester