Como calcular a variação combinada de dois ou mais grupos, considerando variações, médias e tamanhos de amostra conhecidos?

Digamos que há $m+n$ elementos divididos em dois grupos ( $m$ e $n$ ). A variância do primeiro grupo é $\sigma_m^2$ e a variância do segundo grupo é $\sigma^2_n$ . Os próprios elementos são assumidas ser desconhecido mas sei os meios $\mu_m$ e $\mu_n$ .

Existe uma maneira de calcular a variância combinada $\sigma^2_{(m+n)}$ ?

A variância não precisa ser imparcial, portanto o denominador é $(m+n)$ e não $(m+n-1)$ .

variance pooling

— user1809989
fonte

Quando você diz que conhece os meios e as variações desses grupos, são parâmetros ou valores de amostra? Se eles são médias amostrais / variações você não deve usar

...

μ

$\mu$

σ

$\sigma$

— Jonathan Christensen

Eu apenas usei os símbolos como uma representação. Caso contrário, teria sido difícil explicar o meu problema.

— user1809989

Para valores de amostra, geralmente usamos letras latinas (por exemplo,

). Letras gregas são geralmente reservadas para parâmetros. O uso dos símbolos "corretos" (esperados) ajudará você a se comunicar com mais clareza.

m

$m$

s

$s$

— Jonathan Christensen

Não se preocupe, eu vou seguir isso a partir de agora! Felicidades

— user1809989

@ Jonathan Como não se trata de amostras ou estimativas, pode-se legitimamente considerar que

são a verdadeira média e variação da distribuição empírica de um lote de dados, justificando assim o uso convencional de letras gregas em vez de letras latinas para se referir a elas.

μ

$\mu$

σ^{2}

$\sigma^2$

— whuber

Respostas:

Use as definições de média

μ_{1 : n} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\mu_{1:n} = \frac{1}{n}\sum_{i=1}^n x_i$

e variação da amostra

σ_{1 : n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(x_{i} - μ_{1 : n})}^{2} = \frac{n - 1}{n} (\frac{1}{n - 1} \sum_{i = 1}^{n} {(x_{i} - μ_{1 : n})}^{2})

$\sigma_{1:n}^2 = \frac{1}{n}\sum_{i=1}^n \left(x_i - \mu_{1:n}\right)^2 = \frac{n-1}{n}\left(\frac{1}{n-1}\sum_{i=1}^n \left(x_i - \mu_{1:n}\right)^2\right)$

(o último termo entre parênteses é o estimador de variância imparcial, geralmente calculado por padrão no software estatístico) para encontrar a soma dos quadrados de todos os dados . Vamos ordenar os índices para que designe elementos do primeiro grupo e designe elementos do segundo grupo. Divida a soma dos quadrados por grupo e expresse novamente as duas partes em termos de variações e médias dos subconjuntos dos dados: $x_i$ $i$ $i=1,\ldots,n$ $i=n+1,\ldots,n+m$

\begin{aligned} (m + n) (σ_{1 : m + n}^{2} + μ_{1 : m + n}^{2}) & = \sum_{i = 1}^{1 : n + m} x_{i}^{2} \\ = \sum_{i = 1}^{n} x_{i}^{2} + \sum_{i = n + 1}^{n + m} x_{i}^{2} \\ = n (σ_{1 : n}^{2} + μ_{1 : n}^{2}) + m (σ_{1 + n : m + n}^{2} + μ_{1 + n : m + n}^{2}) . \end{aligned}

$\eqalign{ (m+n)(\sigma^2_{1:m+n} + \mu_{1:m+n}^2) &= \sum_{i=1}^{1:n+m} x_i^2 \\ &= \sum_{i=1}^n x_i^2 + \sum_{i=n+1}^{n+m} x_i^2 \\ &= n(\sigma^2_{1:n} + \mu_{1:n}^2) + m(\sigma^2_{1+n:m+n} + \mu_{1+n:m+n}^2). }$

A solução algébrica para em termos de outras quantidades (conhecidas) produz $\sigma^2_{m+n}$

σ_{1 : m + n}^{2} = \frac{n (σ_{1 : n}^{2} + μ_{1 : n}^{2}) + m (σ_{1 + n : m + n}^{2} + μ_{1 + n : m + n}^{2})}{m + n} - μ_{1 : m + n}^{2} .

$\sigma^2_{1:m+n} = \frac{n(\sigma^2_{1:n} + \mu_{1:n}^2) + m(\sigma^2_{1+n:m+n} + \mu_{1+n:m+n}^2)}{m+n} - \mu^2_{1:m+n}.$

$\mu_{1:m+n} = (n\mu_{1:n} + m\mu_{1+n:m+n})/(m+n)$

$\mu_{1:n}=\mu_{1+n:m+n}=\mu_{1:m+n}$ ), the solution for $\sigma^2_{m+n}$ is a weighted mean of the group sample variances.

— whuber
fonte

The "homework" tag doesn't mean the question is elementary or stupid: it's used for self-study questions that can even include research-level queries. It distinguishes routine, more or less context-free questions (of the sort that might ordinarily grace the math forum) from specific applied questions.

— whuber

I cannot understand your first passage:

n (σ^{2} + μ^{2}) = \sum (x - μ)^{2} + n μ^{2} \overset{?}{=} \sum x^{2}

$n(\sigma^2+\mu^2) = \sum (x - \mu)^2 + n\mu^2 \stackrel{?}{=} \sum x^2$ In particular I get

\sum [(x - μ)^{2} + μ^{2}] = \sum [x^{2} - 2 x μ]

$\sum [(x-\mu)^2+\mu^2] = \sum [x^2-2x\mu]$ which requires

μ = 0

$\mu = 0$ Am I missing something? Could you please explain this?

— DarioP

@Dario

\sum (x - μ)^{2} + n μ^{2} = (\sum x^{2} - 2 μ \sum x + n μ^{2}) + n μ^{2} = \sum x^{2} - 2 n μ^{2} + 2 n μ^{2} = \sum x^{2} .

$\sum(x-\mu)^2+n\mu^2=(\sum x^2 - 2\mu\sum x + n \mu^2)+n\mu^2 = \sum x^2 - 2n\mu^2 + 2n\mu^2 = \sum x^2.$

— whuber

Oh yes, I did a stupid sign mistake in my derivation, now is clear, thanks!!

— DarioP

I guess this can be extended to an arbitrary number of samples as long as you have the mean and variance for each. Calculating pooled (biased) standard deviation in R is simply sqrt(weighted.mean(u^2 + rho^2, n) - weighted.mean(u, n)^2) where n, u and rho are equal-length vectors. E.g. n=c(10, 14, 9) for three samples.

— Jonas Lindeløv

I'm going to use standard notation for sample means and sample variances in this answer, rather than the notation used in the question. Using standard notation, another formula for the pooled sample variance of two groups can be found in O'Neill (2014) (Result 1):

\begin{aligned} s_{pooled}^{2} & = \frac{1}{n_{1} + n_{2} - 1} [(n_{1} - 1) s_{1}^{2} + (n_{2} - 1) s_{2}^{2} + \frac{n_{1} n_{2}}{n_{1} + n_{2}} ({\bar{x}}_{1} - {\bar{x}}_{2})^{2}] . \end{aligned}

$\begin{equation} \begin{aligned} s_\text{pooled}^2 &= \frac{1}{n_1+n_2-1} \Bigg[ (n_1-1) s_1^2 + (n_2-1) s_2^2 + \frac{n_1 n_2}{n_1+n_2} (\bar{x}_1 - \bar{x}_2)^2 \Bigg]. \\[10pt] \end{aligned} \end{equation}$

This formula works directly with the underlying sample means and sample variances of the two subgroups, and does not require intermediate calculation of the pooled sample mean. (Proof of result in linked paper.)

— Reinstate Monica
fonte

-3

Yes, given the mean, sample count, and variance or standard deviation of each of two or more groups of samples, you can exactly calculate the variance or standard deviation of the combined group.

This web page describes how to do it, and why it works; it also includes source code in Perl: http://www.burtonsys.com/climate/composite_standard_deviations.html

BTW, contrary to the answer given above,

\begin{aligned} n (σ^{2} + μ^{2}) \neq \sum_{i = 1}^{n} x_{i}^{2} \end{aligned}

$\eqalign{ n(\sigma^2 + \mu^2) \space\space \ne \space\space \sum_{i=1}^n x_i^2 }$

See for yourself, e.g., in R:

> x = rnorm(10,5,2)
> x
 [1] 6.515139 8.273285 2.879483 3.624233 6.199610 3.683164 4.921028 8.084591
 [9] 2.974520 6.049962
> mean(x)
[1] 5.320502
> sd(x)
[1] 2.007519
> sum(x**2)
[1] 319.3486
> 10 * (mean(x)**2 + sd(x)**2)
[1] 323.3787

— Dave Burton
fonte

it's because you forgot the n-1 factor, e.g. try with n*(mean(x)**2+sd(x)**2/(n)*(n-1))

— user603

user603, what on earth are you talking about?

— Dave Burton

Dave, mathematics is a more reliable teacher than software. In this case R computes the unbiased estimate of the standard deviation rather than the standard deviation of the set of numbers. For instance, sd(c(-1,1)) returns 1.414214 rather than 1. Your example needs to use sqrt(9/10)*sd(x) in place of sd(x). Interpreting "

σ

$\sigma$ " as the SD of the data and "

μ

$\mu$ " as the mean of the data, your BTW remark is wrong. A program demonstrating this is n <- 10; x <- rnorm(n,5,2); m <- mean(x); s <- sd(x) * sqrt((n-1)/n); m2 <- sum(x^2); c(lhs=n * (m^2 + s^2), rhs=m2)

— whuber