A média mais um desvio padrão pode exceder o valor máximo?

19

Eu tenho média 74,10 e desvio padrão 33,44 para uma amostra que tem mínimo 0 e máximo 94,33.

Meu professor me pergunta como pode significar mais um desvio padrão exceder o máximo.

Eu mostrei muitos exemplos para ela, mas ela não entende. Eu preciso de alguma referência para mostrar a ela. Pode ser qualquer capítulo ou parágrafo de um livro de estatísticas que fale particularmente sobre isso.

— Boyun Omuru
fonte

Por que você deseja adicionar (ou subtrair) um desvio padrão da média? O SD é uma medida da propagação dos dados. Você queria o erro padrão da média, talvez?

— Reintegrar Monica - G. Simpson

Não quero adicionar ou subtrair, quem quer que seja esse é o meu professor. Esse é o modo como ela entende o desvio padrão

— Boyun Omuru

5

Um exemplo interessante é a amostra (0,01,0,02,0,98,0,99). Tanto a média mais o desvio padrão quanto a média menos o desvio padrão estão fora de [0,1].

— Glen_b -Reinstala Monica

Talvez ela esteja apenas pensando em uma distribuição Normal?

— user765195

28

Certamente a média mais um dp pode exceder a maior observação.

Considere a amostra 1, 5, 5, 5 -

tem média 4 e desvio padrão 2, então a média + dp é 6, um a mais que o máximo da amostra. Aqui está o cálculo em R:

> x=c(1,5,5,5)
> mean(x)+sd(x)
[1] 6

É uma ocorrência comum. Tende a acontecer quando há um monte de valores altos e uma cauda para a esquerda (ou seja, quando há uma forte inclinação da esquerda e um pico próximo ao máximo).

-

A mesma possibilidade se aplica às distribuições de probabilidade, não apenas às amostras - a média da população mais a população sd podem facilmente exceder o valor máximo possível.

Aqui está um exemplo de uma densidade, que tem um valor máximo possível de 1: $\text{beta}(10,\frac{1}{2})$

insira a descrição da imagem aqui

Nesse caso, podemos olhar a página da Wikipedia para a distribuição beta, que afirma que a média é:

$\operatorname{E}[X] = \frac{\alpha}{\alpha+\beta}\!$

e a variação é:

$\operatorname{var}[X] = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}\!$

(Embora não precisemos confiar na Wikipedia, pois é muito fácil derivar.)

Assim, para e $\alpha=10$ temos médiae sd, então média + sd, mais que o máximo possível de 1. $\beta=\frac{1}{2}$ $\approx 0.9523$ $\approx 0.0628$ $\approx 1.0152$

Ou seja, é facilmente possível ter um valor médio + sd que não possa ser observado como um valor de dados .

-

Para qualquer situação em que o modo estava no máximo, a assimetria do modo Pearson precisa ser apenas para a média + sd exceder o máximo. Pode levar qualquer valor, positivo ou negativo, para que possamos ver que é facilmente possível. $<\,-1$

-

Uma questão intimamente relacionada é frequentemente vista com intervalos de confiança para uma proporção binomial , onde um intervalo comumente usado, o intervalo de aproximação normal pode produzir limites fora de . $[0,1]$

Por exemplo, considere um intervalo de aproximação normal de 95,4% para a proporção populacional de sucessos nos ensaios de Bernoulli (os resultados são 1 ou 0 representando eventos de sucesso e falha respectivamente), onde 3 de 4 observações são " " e uma observação é " ". $1$ $0$

Em seguida, o limite superior para o intervalo é de $\hat p + 2 \times \sqrt{\frac{1}{4}\hat p \left(1 - \hat p \right)} = \hat p + \sqrt{\hat p (1 - \hat p )} = 0.75 + 0.433=1.183$

Esta é apenas a média da amostra + a estimativa usual do sd para o binômio ... e produz um valor impossível.

A SD amostra habitual para 0,1,1,1 é 0,5 em vez de 0,433 (eles diferem porque a estimativa ML binomial do desvio padrão corresponde a dividir a variância por , em vez de ) . Mas isso não faz diferença - em ambos os casos, a média + sd excede a maior proporção possível. $\hat p(1-\hat p)$ $n$ $n-1$

Esse fato - que um intervalo de aproximação normal para o binômio pode produzir "valores impossíveis" é freqüentemente observado em livros e jornais. No entanto, você não está lidando com dados binomiais. No entanto, o problema - que significa + algum número de desvios padrão não é um valor possível - é análogo.

-

No seu caso, o valor "0" incomum em sua amostra está tornando o sd maior mais do que diminui a média, e é por isso que a média + sd é alta.

insira a descrição da imagem aqui

-

(Em vez disso, a pergunta seria - por que raciocínio seria impossível? - porque, sem saber por que alguém pensaria que há algum problema, a que abordamos?)

Logicamente, é claro que se demonstra que é possível, dando um exemplo de onde isso acontece. Você já fez isso. Na ausência de uma razão declarada, por que deveria ser de outra forma, o que você deve fazer?

Se um exemplo não for suficiente, que prova seria aceitável?

Não há realmente sentido em simplesmente apontar para uma afirmação em um livro, pois qualquer livro pode fazer uma afirmação por engano - eu as vejo o tempo todo. É preciso confiar na demonstração direta de que é possível, seja uma prova em álgebra (pode ser construída a partir do exemplo beta acima, por exemplo *) ou por exemplo numérico (que você já forneceu), do qual qualquer um pode examinar a verdade por si próprio .

* whuber fornece as condições precisas para o caso beta nos comentários.

— Glen_b -Reinstate Monica
fonte

5

0 < β < 1

$0\lt\beta\lt 1$

α > β (1 + β) / (1 - β)

$\alpha \gt \beta(1+\beta)/(1-\beta)$

(α, β)

$(\alpha,\beta)$

1

$1$

Deixe-me explicar mais. Estou procurando a porcentagem de precisão de determinado aparelho usado para correção de dentes. E este aparelho apresentou percentual de precisão para 7 dentes da seguinte forma:% 76,19,% 77,41,% 94,33,% 91,06,% 0,% 87,77,% 91,96. Meu professor adiciona um desvio padrão à média e afirma que o resultado não pode exceder o valor máximo, mesmo% 100, porque% 100 é a porcentagem máxima de precisão que o appliancek pode executar.

— Boyun Omuru

2

Ela está certa de que uma porcentagem> 100% não faz sentido na sua situação. O problema é, na verdade, a premissa não declarada de que adicionar um sd à média deve fazer sentido nesse contexto, quando não . É aí que acredito que sua dificuldade se origina. Se entendermos de onde a premissa veio, isso pode levar a uma melhor resolução. É possível que o simples fato seja declarado em um livro em algum lugar (é uma observação trivial, portanto, é possível que também não seja), mas duvido que algum dia seja algo que a satisfaça, porque sua falsa premissa é a fonte do problema.

— Glen_b -Reinstate Monica

1

De fato - meu argumento menor é que essa curiosidade é o resultado do que os desvios padrão representam para distribuições fortemente não simétricas, e não o resultado da coleta de uma amostra. Mas, em geral, eu acho que a sua resposta é excelente

— Henry

2

@tomka Tentei ajudar muitos estudantes em uma posição semelhante. Acabei aprendendo a regra prática (possivelmente não surpreendente) de que é efetivamente impossível ensinar qualquer coisa a um supervisor por meio de seu aluno.

— Glen_b -Reinstala Monica 6/11

4

Pela desigualdade de Chebyshev, menos de k ^-2 pontos podem estar a mais de k desvios-padrão. Portanto, para k = 1, isso significa que menos de 100% de suas amostras podem estar a mais de um desvio padrão.

É mais interessante olhar para o limite inferior. O seu professor deve ficar mais surpreso, pois há pontos que são cerca de 2,5 desvios padrão abaixo da média. Mas agora sabemos que apenas 1/6 das suas amostras podem ser 0.

— MSalters
fonte

3

A essência do problema pode ser que sua distribuição não é uma distribuição normal que um desvio padrão assume. É provável que sua distribuição fique inclinada ; portanto, você precisa transformar seu conjunto em uma distribuição normal primeiro escolhendo uma função de transformação adequada; esse processo é chamado de transformação em normalidade . Um desses candidatos a funções no seu caso pode ser uma transformação de log espelhada. Quando seu aparelho satisfizer um teste de normalidade, você poderá fazer o desvio padrão. Então, use o seu 1 $\sigma$ ou 2 $\sigma$ valores, você deve transformá-los novamente em seu espaço de dados original usando o inverso de sua função de transformação. Estou pensando que é isso que seu professor estava sugerindo.

— Snives
fonte

5

Esta é uma boa contribuição. Não tenho certeza se o SD realmente "assume" uma distribuição normal, no entanto.

— gung - Restabelece Monica

3

"Adaptação à distribuição" e encontrar uma transformação em normalidade são procedimentos distintos com objetivos diferentes.

— whuber

2

Em geral, para a variável aleatória Bernoulli $X$ , isso leva o valor $1$ com probabilidade $0<p<1$ e o valor $0$ com probabilidade $1-p$ , temos

E (X) = p, S E (X) = \sqrt{p (1 - p)}

$E(X) = p,\;\; SE(X) = \sqrt {p(1-p)}$

E nós queremos

E (X) + S E (X) > 1 \Rightarrow p + \sqrt{p (1 - p)} > 1

$E(X)+ SE(X) > 1 \Rightarrow p +\sqrt {p(1-p)} >1$

\Rightarrow \sqrt{p (1 - p)} > (1 - p)

$\Rightarrow \sqrt {p(1-p)} > (1-p)$

Esquadre os dois lados para obter

p (1 - p) > (1 - p)^{2} \Rightarrow p > 1 - p \Rightarrow p > \frac{1}{2}

$p(1-p) > (1-p)^2 \Rightarrow p > 1-p \Rightarrow p > \frac 12$

Em palavras, para qualquer variável aleatória de Bernoulli com $p>1/2$ a expressão teórica $E(X)+ SE(X) > \max X$ detém.

Assim, por exemplo, para qualquer amostra de IDI retirada de um Bernoulli com, digamos, $p=0.7$ , Na maioria dos casos, a amostra mais a média da amostra desvio-padrão irá exceder o valor $1$ , que será o valor máximo observado (exceto no caso de uma amostra com todos os zeros!).

Para outras distribuições, sempre temos a direção oposta na desigualdade, por exemplo, para um Uniform $U(a,b)$ , é sempre o caso que $E(U)+ SE(U) < \max U=b$ .
Portanto, nenhuma regra geral existe.

— Alecos Papadopoulos
fonte