Explicação intuitiva para dividir por ao calcular o desvio padrão?

Hoje me perguntaram na aula por que você divide a soma do erro do quadrado por vez de com , ao calcular o desvio padrão.$n-1$$n$

Eu disse que não vou responder na aula (já que não queria entrar em avaliadores imparciais), mas depois me perguntei - há uma explicação intuitiva para isso ?!

O desvio padrão calculado com um divisor de é um desvio padrão calculado a partir da amostra como uma estimativa do desvio padrão da população da qual a amostra foi retirada. Como os valores observados caem, em média, mais perto da média da amostra do que da média da população, o desvio padrão que é calculado usando desvios da média da amostra subestima o desvio padrão desejado da população. Usar vez de como divisor corrige isso, tornando o resultado um pouco maior.$n-1$$n-1$$n$

Observe que a correção tem um efeito proporcional maior quando é pequeno do que quando é grande, o que queremos, porque quando n é maior, a média da amostra provavelmente será um bom estimador da média da população.$n$

Quando a amostra é a população inteira, usamos o desvio padrão com como divisor, porque a média da amostra é a média da população.$n$

(Observo, entre parênteses, que nada que comece com o "segundo momento se aproximando de um meio conhecido e definido" atenderá ao pedido do questionador por uma explicação intuitiva.)

Um comum é que a definição de variância (de uma distribuição) é o segundo momento em torno de uma média definida e conhecida , enquanto o estimador usa uma média estimada . Essa perda de um grau de liberdade (dada a média, você pode reconstituir o conjunto de dados com conhecimento de apenas dos valores dos dados) requer o uso de n - 1 em vez de n para "ajustar" o resultado.$n-1$$n-1$$n$

Essa explicação é consistente com as variações estimadas na ANOVA e na análise de componentes de variação. É realmente apenas um caso especial.

A necessidade de fazer alguns ajustes que aumentem a variação pode, penso, ser esclarecida intuitivamente com um argumento válido que não é apenas um aceno manual ex post facto . (Lembro-me de que Student pode ter apresentado tal argumento em seu artigo de 1908 sobre o teste t.) Por que o ajuste à variação deve ser exatamente um fator de é mais difícil de justificar, especialmente quando você considera que o SD ajustado não é$n/(n-1)$um estimador imparcial. (É apenas a raiz quadrada de um estimador imparcial da variância. Ser imparcial geralmente não sobrevive a uma transformação não-linear.) Portanto, de fato, o ajuste correto ao SD para remover seu viés não é um fator de todo!$\sqrt{n/(n-1)}$

Alguns livros introdutórios nem se dão ao trabalho de introduzir o sd ajustado: eles ensinam uma fórmula (divida por ). Primeiro, eu reagi negativamente ao ensinar a partir de um livro desse tipo, mas passei a apreciar a sabedoria: para focar nos conceitos e aplicações, os autores eliminam todas as sutilezas matemáticas não essenciais. Acontece que nada está ferido e ninguém é enganado.$n$

Por definição, a variação é calculada considerando a soma das diferenças ao quadrado da média e dividindo pelo tamanho. Nós temos a fórmula geral

ondeμé a média eNé o tamanho da população.$\sigma^2= \frac{\sum_{i}^{N}(X_i-\mu)^2}{N}$$\mu$$N$

De acordo com essa definição, a variação da amostra a (por exemplo, amostra ) também deve ser calculada dessa maneira.$t$

onde ¯ X é a médiaené o tamanho desta pequena amostra.$\sigma^2_t= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n}$$\overline{X}$$n$

No entanto, por variância amostral , queremos dizer um estimador da variância populacional σ 2 . Como podemos estimar σ 2 apenas usando os valores da amostra?$S^2$$\sigma^2$$\sigma^2$

De acordo com as fórmulas acima, a variável aleatória se desvia da média da amostra ¯ X com variação σ 2 t . A média da amostra ¯ X também se desvia de μ com variância σ $X$$\overline{X}$$\sigma^2_t$$\overline{X}$$\mu$ porque a média da amostra obtém valores diferentes de amostra para amostra e é uma variável aleatória com médiaμe variânciaσ$\frac{\sigma^2}{n}$$\mu$ . (Pode-se provar facilmente.)$\frac{\sigma^2}{n}$

Portanto, aproximadamente, deve desviar-se de μ com uma variação que envolve duas variações, então some essas duas e obtenha σ 2 = σ 2 t + σ $X$$\mu$ . Resolvendo isso, obtemosσ2=σ 2 t ×$\sigma^2=\sigma^2_t+\frac{\sigma^2}{n}$ . Substituirσ 2 t fornece nosso estimador de variação populacional:$\sigma^2=\sigma^2_t \times\frac{n}{n-1}$$\sigma^2_t$

.$S^2= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n-1}$

Pode-se também provar que é verdadeiro.$E[S^2]=\sigma^2$

Essa é uma intuição total, mas a resposta mais simples é que é uma correção feita para tornar o desvio padrão da amostra de um elemento indefinido em vez de 0.

Você pode obter uma compreensão mais profunda do termo com a geometria, não apenas por que não é n, mas por que ele assume exatamente essa forma, mas primeiro você pode precisar criar sua intuição para lidar com a geometria n- dimensional. A partir daí, porém, é um pequeno passo para uma compreensão mais profunda dos graus de liberdade nos modelos lineares (isto é, modelo df e residual df). Acho que há poucas dúvidas de que Fisher pensasse assim. Aqui está um livro que o constrói gradualmente:$n-1$$n$$n$

Saville DJ, madeira GR. Métodos estatísticos: a abordagem geométrica . 3ª edição. Nova Iorque: Springer-Verlag; 1991. 560 páginas. 9780387975177

(Sim, 560 páginas. Eu disse gradualmente.)

O estimador da variação populacional é enviesado quando aplicado em uma amostra da população. Para ajustar esse viés, é necessário dividir por n-1 em vez de n. Pode-se mostrar matematicamente que o estimador da variância da amostra é imparcial quando dividimos por n-1 em vez de n. Uma prova formal é fornecida aqui:

https://economictheoryblog.com/2012/06/28/latexlatexs2/

Inicialmente, foi a correção matemática que levou à fórmula, suponho. No entanto, se alguém deseja adicionar intuição a uma fórmula, as sugestões já mencionadas parecem razoáveis.

Primeiro, as observações de uma amostra estão, em média, mais próximas da média da amostra do que da média da população. O estimador de variância utiliza a média da amostra e, como conseqüência, subestima a verdadeira variância da população. Dividir por n-1 em vez de n corrige esse viés.

Além disso, dividir por n-1 torna a variação de uma amostra de um elemento indefinida em vez de zero.

Por que dividir por vez de n ? Porque é habitual e resulta em uma estimativa imparcial da variação. No entanto, resulta em uma estimativa tendenciosa (baixa) do desvio padrão, como pode ser visto aplicando a desigualdade de Jensen à função côncava, raiz quadrada.$n-1$$n$

Então, o que há de tão bom em ter um estimador imparcial? Não necessariamente minimiza o erro quadrático médio. O MLE para uma distribuição Normal é dividido por vez de n - 1 . Ensine seus alunos a pensar, em vez de regurgitar e aplicar irracionalmente noções antiquadas de um século atrás.$n$$n-1$

É bem sabido (ou facilmente comprovado) que o quadrático tem um extremo em z = - $\alpha z^2 + 2\beta z + \gamma$ . Isso mostra que, para quaisquernnúmeros reaisx1,x2,…,xn, a quantidade G(a)= n ∑ i=1(xi-a)2=( n ∑ i = 1 x 2 i )-2a( n ∑ i = 1 xi)+$z = -\frac{\beta}{\alpha}$$n$$x_1, x_2, \ldots, x_n$ tem valor mínimo quando a =

$$G(a) = \sum_{i=1}^n (x_i-a)^2 = \left(\sum_{i=1}^n x_i^2\right) -2a\left(\sum_{i=1}^n x_i\right) + na^2,$$ .$\displaystyle a = \frac 1n \sum_{i=1}^n x_i =\bar{x}$

Agora, suponha que o são uma amostra de tamanho n de uma distribuição com média desconhecida μ e variância desconhecida σ 2 . Podemos estimar μ como $x_i$$n$$\mu$$\sigma^2$$\mu$ que é fácil de calcular, mas uma tentativa de estimarσ2 como$\frac 1n \sum_{i=1}^n x_i = \bar{x}$$\sigma^2$encontra o problema que não conhecemosμ. É claro que podemos calcular prontamente G( ˉ x )e sabemos queG(μ)≥G( ˉ x ), mas quanto maior éG(μ)? A resposta é que G(μ$\frac 1n \sum_{i=1}^n (x_i-\mu)^2 = n^{-1}G(\mu)$$\mu$$G(\bar{x})$$G(\mu) \geq G(\bar{x})$$G(\mu)$$G(\mu)$é maior que por um fator de aproximadamente $G(\bar{x})$ , ou seja, G ( μ ) ≈ $\frac{n}{n-1}$e, portanto, aestimativan-1G(μ)=

$$G(\mu) \approx \frac{n}{n-1}G(\bar{x})\tag{1}$$ para a variação da distribuição pode ser aproximada por $\displaystyle n^{-1}G(\mu)= \frac 1n\sum_{i=1}^n(x_i-\mu)^2$$\displaystyle \frac{1}{n-1}G(\bar{x}) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2.$

Então, qual é a explicação intuitiva de ? Bem, nós temos esse G ( μ $(1)$ desdeΣ n i = 1 (xi- ˉ x )=n ˉ x -n ˉ x =0. Agora, n ( ˉ x - μ )

$$\begin{align} G(\mu) &= \sum_{i=1}^n (x_i-\mu)^2\\ &= \sum_{i=1}^n (x_i-\bar{x} + \bar{x}-\mu)^2\\ &= \sum_{i=1}^n \left((x_i-\bar{x})^2 + (\bar{x}-\mu)^2 + 2(x_i-\bar{x})(\bar{x}-\mu)\right)\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 + (\bar{x}-\mu)\sum_{i=1}^n(x_i-\bar{x})\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 \tag{2} \end{align}$$ $\sum_{i=1}^n (x_i-\bar{x}) = n\bar{x}-n\bar{x} = 0$ Exceto quando temos uma amostra extraordinariamente incomum na qual todos osxisão maiores queμ(ou são todos menores que μ), as somas(xi-μ)(xj-μ)na soma dupla no lado direito de(3 $$\begin{align} n(\bar{x}-\mu)^2 &= n\frac{1}{n^2}\left(\sum_{i=1}^n(x_i-\mu)\right)^2\\ &= \frac 1n \sum_{i=1}^n(x_i-\mu)^2 + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\\ &= \frac 1n G(\mu) + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\tag{3} \end{align}$$ $x_i$$\mu$$\mu$$(x_i-\mu)(x_j-\mu)$$(3)$assumir valores positivos e negativos e, portanto, muitos cancelamentos ocorrem. Assim, pode-se esperar que a soma dupla tenha pequeno valor absoluto, e nós simplesmente a ignoramos em comparação com a TermoG(μ)no lado direito de(3). Assim,(2) torna-se G(μ)≈G( ˉ x )+$\frac 1nG(\mu)$$(3)$$(2)$ tal como reivindicado em(1). $$G(\mu) \approx G(\bar{x}) + \frac 1nG(\mu) \Longrightarrow G(\mu) \approx \frac{n}{n-1}G(\bar{x})$$ $(1)$

Variância da amostra pode ser pensado para ser a média exata da "energia" em pares entre todos os pontos de amostragem. A definição de variação da amostra torna-se então s 2 = $(x_i-x_j)^2/2$

$$s^2 = \frac{2}{n(n-1)}\sum_{i< j}\frac{(x_i-x_j)^2}{2} = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2 .$$

Isso também concorda com a definição da variância de uma variável aleatória como a expectativa da energia em pares, ou seja, sejam e Y variáveis ​​aleatórias independentes com a mesma distribuição, então V ( X ) = E ( ( X - Y ) $X$$Y$

$$V(X) = E\left(\frac{(X-Y)^2}{2}\right) = E((X-E(X))^2) .$$

Ir da definição de variância aleatória para a definição de variância amostral é uma questão de estimar uma expectativa por uma média que pode ser justificada pelo princípio filosófico da tipicidade: A amostra é uma representação típica da distribuição. (Observe que isso está relacionado, mas não é o mesmo que a estimativa por momentos.)

$N=1$$x$$\overline{m}=x$$1$

$$V=\frac{\sum_N (x_n - \overline{m} )^2}{N}$$

$$\overline{V}=\frac{(x-\overline{m})^2}{1} = 0\,.$$

$y$$x\neq y$$N-1=0$

$0$$d+1$$d$$d+1$

Por sugestão do whuber , essa resposta foi copiada de outra pergunta semelhante .

A correção de Bessel é adotada para corrigir o viés no uso da variação da amostra como estimador da variação verdadeira. O viés na estatística não corrigida ocorre porque a média da amostra está mais próxima do meio das observações que a média real e, portanto, os desvios quadrados ao redor da média da amostra subestimam sistematicamente os desvios quadrados da média verdadeira.

$S_*^2$$n$

$$\begin{equation} \begin{aligned} S_*^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (X_i^2 - 2 \bar{X} X_i + \bar{X}^2) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 \bar{X} \sum_{i=1}^n X_i + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 n \bar{X}^2 + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2. \end{aligned} \end{equation}$$

Taking expectations yields:

$$\begin{equation} \begin{aligned} \mathbb{E}(S_*^2) &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i^2) - \mathbb{E} (\bar{X}^2) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= \sigma^2 - \frac{\sigma^2}{n} \\[8pt] &= \frac{n-1}{n} \cdot \sigma^2 \\[8pt] \end{aligned} \end{equation}$$

So you can see that the uncorrected sample variance statistic underestimates the true variance $\sigma^2$. Bessel's correction replaces the denominator with $n-1$ which yields an unbiased estimator. In regression analysis this is extended to the more general case where the estimated mean is a linear function of multiple predictors, and in this latter case, the denominator is reduced further, for the lower number of degrees-of-freedom.

Geralmente, usar "n" no denominador fornece valores menores do que a variação populacional que é o que queremos estimar. Isso acontece especialmente se as pequenas amostras forem coletadas. No idioma da estatística, dizemos que a variação da amostra fornece uma estimativa "tendenciosa" da variação da população e precisa ser "imparcial".

Se você está procurando uma explicação intuitiva, deixe seus alunos verem o motivo de si mesmos, colhendo amostras! Veja isso, ele responde com precisão à sua pergunta.

https://www.youtube.com/watch?v=xslIhnquFoE

A média da amostra é definida como $\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$, o que é bastante intuitivo. Mas a variação da amostra é$S^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$. Onde é que o$n - 1$ vem de onde ?

Para responder a essa pergunta, precisamos voltar à definição de um estimador imparcial. Um estimador imparcial é aquele cuja expectativa tende à verdadeira expectativa. A média da amostra é um estimador imparcial. Para ver o porquê:

$$E[\bar{X}] = \frac{1}{n}\sum_{i=1}^{n} E[X_i] = \frac{n}{n} \mu = \mu$$

Vejamos a expectativa da variação da amostra,

$$S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i^2) - n\bar{X}^2$$

$$E[S^2] = \frac{1}{n-1} \left( n E[(X_i^2)] - nE[\bar{X}^2] \right).$$

Notice that $\bar{X}$ is a random variable and not a constant, so the expectation $E[\bar{X}^2]$ plays a role. This is the reason behind the $n-1$.

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + Var(\bar{X})) \right).$$ $$Var(\bar{X}) = Var(\frac{1}{n}\sum_{i=1}^{n} X_i) = \sum_{i=1}^{n} \frac{1}{n^2} Var(X_i) = \frac{\sigma^2}{n}$$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + \sigma^2/n) \right). = \frac{(n-1)\sigma^2}{n-1} = \sigma^2 \\ $$

As you can see, if we had the denominator as $n$ instead of $n-1$, we would get a biased estimate for the variance! But with $n-1$ the estimator $S^2$ is an unbiased estimator.

I think it's worth pointing out the connection to Bayesian estimation. Suppose you assume your data is Gaussian, and so you measure the mean $\mu$ and variance $\sigma^2$ of a sample of $n$ points. You want to draw conclusions about the population. The Bayesian approach would be to evaluate the posterior predictive distribution over the sample, which is a generalized Student's T distribution (the origin of the T-test). This distribution has mean $\mu$, and variance

$$\sigma^2 \left(\frac{n+1}{n-1}\right),$$

which is even larger than the typical correction. (It has $2n$ degrees of freedom.)

The generalized Student's T distribution has three parameters and makes use of all three of your statistics. If you decide to throw out some information, you can further approximate your data using a two-parameter normal distribution as described in your question.

From a Bayesian standpoint, you can imagine that uncertainty in the hyperparameters of the model (distributions over the mean and variance) cause the variance of the posterior predictive to be greater than the population variance.

Meu Deus, está ficando complicado! Eu pensei que a resposta simples era ... se você tem todos os pontos de dados, pode usar "n", mas se você tiver uma "amostra", supondo que seja uma amostra aleatória, você terá mais pontos de amostra dentro do desvio padrão do que de fora (a definição de desvio padrão). Você simplesmente não possui dados suficientes no exterior para garantir que obtenha todos os pontos de dados necessários aleatoriamente. O n-1 ajuda a expandir em direção ao desvio padrão "real".