O desvio padrão de dados não negativos pode exceder a média?

Eu tenho algumas malhas 3D trianguladas. As estatísticas para as áreas do triângulo são:

• Mín. 0,000
• Max 2341.141
• Mean 56.317
• Std dev 98.720

Então, isso significa algo particularmente útil sobre o desvio padrão ou sugere que existem erros no cálculo, quando os números funcionam como o descrito acima? As áreas certamente estão longe de serem normalmente distribuídas.

E, como alguém mencionado em uma de suas respostas abaixo, o que realmente me surpreendeu foi o fato de que apenas um DP da média levou os números a serem negativos e, portanto, fora do domínio legal.

obrigado

Não há nada que indique que o desvio padrão deve ser menor ou maior que a média. Dado um conjunto de dados, você pode manter a média igual, mas alterar o desvio padrão para um grau arbitrário adicionando / subtraindo um número positivo adequadamente .

Usando o exemplo de conjunto de dados de @ whuber, de seu comentário à pergunta: {2, 2, 2, 202}. Conforme afirma @whuber: a média é 52 e o desvio padrão é 100.

Agora, perturbe cada elemento dos dados da seguinte maneira: {22, 22, 22, 142}. A média ainda é 52, mas o desvio padrão é 60.

Obviamente, esses são parâmetros independentes. Você pode definir explorações simples no R (ou outra ferramenta que você preferir).

R> set.seed(42)     # fix RNG
R> x <- rnorm(1000) # one thousand N(0,1)
R> mean(x)          # and mean is near zero
[1] -0.0258244
R> sd(x)            # sd is near one
[1] 1.00252
R> sd(x * 100)      # scale to std.dev of 100
[1] 100.252
R> 

Da mesma forma, você padroniza os dados visualizados subtraindo a média e dividindo pelo desvio padrão.

Edit E seguindo a idéia do @ whuber, aqui está um conjunto infinito de conjuntos de dados que se aproximam de suas quatro medições:

R> data <- c(0, 2341.141, rep(52, 545))
R> data.frame(min=min(data), max=max(data), sd=sd(data), mean=mean(data))
  min     max      sd    mean
1   0 2341.14 97.9059 56.0898
R> 

Não sei por que @Andy está surpreso com esse resultado, mas sei que ele não está sozinho. Também não tenho certeza do que a normalidade dos dados tem a ver com o fato de que o sd é maior que a média. É bastante simples gerar um conjunto de dados que é normalmente distribuído onde é esse o caso; de fato, o normal padrão tem média de 0, sd de 1. Seria difícil obter um conjunto de dados normalmente distribuído de todos os valores positivos com sd> mean; de fato, não deveria ser possível (mas depende do tamanho da amostra e de qual teste de normalidade você usa ... com uma amostra muito pequena, coisas estranhas acontecem)

No entanto, depois de remover a estipulação da normalidade, como a @Andy fez, não há razão para que o sd seja maior ou menor que a média, mesmo para todos os valores positivos. Um único outlier fará isso. por exemplo

x <- runif (100, 1, 200) x <- c (x, 2000)

dá média de 113 e sd de 198 (dependendo da semente, é claro).

Mas uma questão maior é por que isso surpreende as pessoas.

Não ensino estatística, mas me pergunto o que acontece com o modo como a estatística é ensinada, que torna essa noção comum.

Basta a adição de um ponto genérico que, a partir de uma perspectiva de cálculo, e ∫ x 2 f ( x ) d x estão relacionados por desigualdade de Jensen , assumindo que existem dois integrais, ∫ x 2 f ( x ) d x ≥ { ∫ x f ( x ) d x }

$$\int x f(x) \text{d}x$$ $$\int x^2 f(x) \text{d}x$$ Dada essa desigualdade geral, nada impede que a variação se torne arbitrariamente grande. Testemunhe adistribuição t do alunocom ν graus de liberdade, X ∼ T ( ν , μ , σ ) e tome Y = | X | cujo segundo momento é o mesmo que o segundo momento de X , E [ | X | 2 ] = $$\int x^2 f(x) \text{d}x \ge \left\{ \int x f(x) \text{d}x \right\}^2\,.$$ $\nu$ $$X \sim \mathfrak{T}(\nu,\mu,\sigma)$$ $Y=|X|$$X$ quandoν>2. Então chega ao infinito quandoνdesce para $$\mathbb{E}[|X|^2] = \frac{\nu}{\nu-2}\sigma^2 + \mu^2,$$ $\nu>2$$\nu$$2$ , enquanto a média de permanece finita enquanto ν > 1 .$Y$$\nu>1$

Talvez o OP esteja surpreso que a média - 1 DP seja um número negativo (especialmente onde o mínimo é 0).

Aqui estão dois exemplos que podem esclarecer.

Suponha que você tenha uma turma de 20 alunos da primeira série, onde 18 têm 6 anos, 1 tem 5 e 1 tem 7. Agora, adicione o professor de 49 anos. A idade média é 8,0, enquanto o desvio padrão é 9,402.

Você pode estar pensando: um desvio padrão varia para essa classe varia de -1,402 a 17,402 anos. Você pode se surpreender que o SD inclua uma idade negativa, o que parece irracional.

Você não precisa se preocupar com a idade negativa (ou os gráficos 3D que se estendem menos que o mínimo de 0,0). Intuitivamente, você ainda possui cerca de dois terços dos dados dentro de 1 DP da média. (Na verdade, você possui 95% dos dados dentro de 2 DP da média.)

Quando os dados assumem uma distribuição não normal, você verá resultados surpreendentes como este.

Segundo exemplo. Em seu livro, Enganado pela aleatoriedade , Nassim Taleb estabelece o experimento mental de um arqueiro de olhos vendados atirando em uma parede de comprimento inifinte. O arqueiro pode disparar entre +90 graus e -90 graus.

De vez em quando, o arqueiro dispara a flecha paralela à parede e nunca bate. Considere até que ponto a flecha erra o alvo como a distribuição dos números. O desvio padrão para este cenário seria inifinte.

A gamma random variable $X$ with density

$$f_X(x) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x} I_{(0,\infty)}(x) \, ,$$ with $\alpha,\beta>0$, is almost surely positive. Choose any mean $m>0$ and any standard deviation $s>0$. As long as they are positive, it does not matter if $m>s$ or $m<s$. Putting $\alpha=m^2/s^2$ and $\beta=m/s^2$, the mean and standard deviation of $X$ are $\mathbb{E}[X]=\alpha/\beta=m$ and $\sqrt{\mathbb{Var}[X]}=\sqrt{\alpha/\beta^2}=s$. With a big enough sample from the distribution of $X$, by the SLLN, the sample mean and sample standard deviation will be close to $m$ and $s$. You can play with R to get a feeling about this. Here are examples with $m>s$ and $m<s$.

> m <- 10
> s <- 1
> x <- rgamma(10000, shape = m^2/s^2, rate = m/s^2)
> mean(x)
[1] 10.01113
> sd(x)
[1] 1.002632

> m <- 1
> s <- 10
> x <- rgamma(10000, shape = m^2/s^2, rate = m/s^2)
> mean(x)
[1] 1.050675
> sd(x)
[1] 10.1139

As pointed out in the other answers, the mean $\bar{x}$ and standard deviation $\sigma_x$ are essentially unrelated in that it is not necessary for the standard deviation to be smaller than the mean. However, if the data are nonnegative, taking on values in $[0,c]$, say, then, for large data sets (where the distinction between dividing by $n$ or by $n-1$ does not matter very much), the following inequality holds:

$$\sigma_x \leq \sqrt{\bar{x}(c-\bar{x})} \leq \frac{c}{2}$$ and so if $\bar{x} > c/2$, we can be sure that $\sigma_x$ will be smaller. Indeed, since $\sigma_x = c/2$ only for an extremal distribution (half the data have value $0$ and the other half value $c$), $\sigma_x < \bar{x}$ can hold in some cases when $\bar{x} < c/2$ as well. If the data are measurements of some physical quantity that is nonnegative (e.g. area) and have an empirical distribution that is a good fit to a normal distribution, then $\sigma_x$ will be considerably smaller than $\min\{\bar{x}, c - \bar{x}\}$ since the fitted normal distribution should assign negligibly small probability to the events $\{X < 0\}$ and $\{X > c\}$.

What you seem to have in mind implicitly is a prediction interval that would bound the occurrence of new observations. The catch is: you must postulate a statistical distribution compliant with the fact that your observations (triangle areas) must remain non-negative. Normal won't help, but log-normal might be just fine. In practical terms, take the log of observed areas, calculate the mean and standard deviation, form a prediction interval using the normal distribution, and finally evaluate the exponential for the lower and upper limits -- the transformed prediction interval won't be symmetric around the mean, and is guaranteed to not go below zero. This is what I think the OP actually had in mind.

Felipe Nievinski points to a real issue here. It makes no sense to talk in normal distribution terms when the distribution is clearly not a normal distribution. All-positive values with a relatively small mean and relatively large standard deviation cannot have a normal distribution. So, the task is to figure out what sort of distribution fits the situation. The original post suggests that a normal distribution (or some such) was clearly in mind. Otherwise negative numbers would not come up. Log normal, Rayleigh, Weibull come to mind ... I don't know but wonder what might be best in a case like this?