15

Estou executando um experimento em que estou coletando amostras (independentes) em paralelo, calculo a variação de cada grupo de amostras e agora quero combinar tudo para encontrar a variação total de todas as amostras.

Estou tendo dificuldade em encontrar uma derivação para isso, pois não tenho certeza da terminologia. Eu penso nisso como uma partição de um RV.

Então, eu quero encontrar de , , ... e , onde = . $Var(X)$ $Var(X_1)$ $Var(X_2)$ $Var(X_n)$ $X$ $[X_1, X_2, \dots, X_n]$

EDIT: As partições não têm o mesmo tamanho / cardinalidade, mas a soma dos tamanhos das partições é igual ao número de amostras no conjunto geral de amostras.

EDIT 2: Existe uma fórmula para uma computação paralela aqui , mas cobre apenas o caso de uma partição em dois conjuntos, não em conjuntos. $n$

variance

— galamina
fonte

É o mesmo que a minha pergunta aqui: mathoverflow.net/questions/64120/…

O que significa esse último colchete? E o que você quer dizer com "variação total"? É outra coisa senão a variação do conjunto de dados combinado?

— whuber

@whuber qual último suporte? "variação total" significa a variação do conjunto total de dados.

— gallamine

A expressão

poderia significar muitas coisas (embora convencionalmente fosse um vetor): eu estava procurando um esclarecimento.

[X_{1}, X_{2}, \dots, X_{n}]

$[X_1, X_2, \dots, X_n]$

— whuber

22

A fórmula é bastante direta se todas as subamostras tiverem o mesmo tamanho de amostra. Se tivesse sub-amostras de tamanho (para um total de amostras), em seguida a variância da amostra combinada depende da média e variância de cada sub-amostra: $g$ $k$ $gk$ $E_j$ $V_j$ onde porsignifica a variação da média da amostra.

V a r (X_{1}, \dots, X_{g k}) = \frac{k - 1}{g k - 1} (\sum_{j = 1}^{g} V_{j} + \frac{k (g - 1)}{k - 1} V a r (E_{j})),

$Var(X_1,\ldots,X_{gk}) = \frac{k-1}{gk-1}(\sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} Var(E_j)),$

V a r (E_{j})

$Var(E_j)$

Uma demonstração em R:

> x <- rnorm(100)
> g <- gl(10,10)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 9/99*(sum(vs) + 10*var(mns))
[1] 1.033749
> var(x)
[1] 1.033749

Se os tamanhos das amostras não forem iguais, a fórmula não será tão boa.

EDIT: fórmula para tamanhos de amostra desiguais

$g$ $k_j, j=1,\ldots,g$ $n=\sum{k_j}$

V a r (X_{1}, \dots, X_{n}) = \frac{1}{n - 1} (\sum_{j = 1}^{g} (k_{j} - 1) V_{j} + \sum_{j = 1}^{g} k_{j} ({\bar{X}}_{j} - \bar{X})^{2}),

$Var(X_1,\ldots,X_{n}) = \frac{1}{n-1}\left(\sum_{j=1}^g (k_j-1) V_j + \sum_{j=1}^g k_j (\bar{X}_j - \bar{X})^2\right),$

\bar{X} = (\sum_{j = 1}^{g} k_{j} {\bar{X}}_{j}) / n

$\bar{X} = (\sum_{j=1}^gk_j\bar{X}_j)/n$

Mais uma vez, uma demonstração:

> k <- rpois(10, lambda=10)
> n <- sum(k)
> g <- factor(rep(1:10, k))
> x <- rnorm(n)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 1/(n-1)*(sum((k-1)*vs) + sum(k*(mns-weighted.mean(mns,k))^2))
[1] 1.108966
> var(x)
[1] 1.108966

$(X_{ji}-\bar{X})^2$ $\bar{X}_j$ $[(X_{ji}-\bar{X}_j)-(\bar{X}_j-\bar{X})]^2$

— Aniko
fonte

obrigado. Infelizmente, não posso garantir que minhas partições sejam do mesmo tamanho. Estou executando um processo paralelo em que preciso calcular as variações de cada partição em paralelo e depois combinar no final, mas os resultados / amostras de cada processo paralelo não são iguais (é uma simulação de Monte Carlo dos fótons recebidos).

— gallamine

3

Eu não posso +1 este bastante, fórmula super útil para a computação paralela em um ambiente de data warehouse

— Noah Yetter

1

Isso é simplesmente um complemento para a resposta do aniko com um esboço da derivação e algum código python, para que todos os créditos sejam do aniko.

derivação

$X_j \in X = \{X_1, X_2, \ldots, X_g\}$ $g$ $k_j = |X_j|$

\begin{aligned} E_{j} & = E [X_{j}] = \frac{1}{k_{j}} \sum_{Eu = 1}^{k_{j}} X_{j Eu} \\ V_{j} & = V uma r [X_{j}] = \frac{1}{k_{j} - 1} \sum_{Eu = 1}^{k_{j}} (X_{j Eu} - E_{j})^{2} \end{aligned}

$\begin{align*} E_j & = \mathrm{E}\left[X_j\right] = \frac{1}{k_j} \sum_{i=1}^{k_j} X_{ji}\\ V_j & = \mathrm{Var}\left[X_j\right] = \frac{1}{k_j-1} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 \end{align*}$ respectivamente. Se definirmos

n = \sum_{j = 1}^{g} k_{j}

$n = \sum_{j=1}^g k_j$ , a variação do conjunto total de dados é dada por:

\begin{aligned} V a r [X] & = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} (X_{j i} - E [X])^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} ((X_{j i} - E_{j}) - (E [X] - E_{j}))^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} (X_{j i} - E_{j})^{2} - 2 (X_{j i} - E_{j}) (E [X] - E_{j}) + (E [X] - E_{j})^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} (k_{j} - 1) V_{j} + k_{j} (E [X] - E_{j})^{2} . \end{aligned}

$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - \mathrm{E}\left[X\right])^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} \big((X_{ji} - E_j) - (\mathrm{E}\left[X\right] - E_j)\big)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 - 2(X_{ji} - E_j)(\mathrm{E}\left[X\right] - E_j) + (\mathrm{E}\left[X\right] - E_j)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} (k_j - 1) V_j + k_j (\mathrm{E}\left[X\right] - E_j)^2. \end{align*}$ If we have the same size

k

$k$ for each part, i.e.

\forall j : k_{j} = k

$\forall j: k_j = k$ , above formula simplifies to

\begin{aligned} V a r [X] & = \frac{1}{n - 1} \sum_{j = 1}^{g} (k - 1) V_{j} + k (g - 1) V a r [E_{j}] \\ = \frac{k - 1}{n - 1} \sum_{j = 1}^{g} V_{j} + \frac{k (g - 1)}{k - 1} V a r [E_{j}] \end{aligned}

$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^g (k-1) V_j + k(g-1) \mathrm{Var}\left[E_j\right] \\ & = \frac{k-1}{n-1} \sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} \mathrm{Var}\left[E_j\right] \end{align*}$

python code

The following python function works for arrays that have been splitted along the first dimension and implements the "more complex" formula for differently sized parts.

import numpy as np

def combine(averages, variances, counts, size=None):
    """
    Combine averages and variances to one single average and variance.

    # Arguments
        averages: List of averages for each part.
        variances: List of variances for each part.
        counts: List of number of elements in each part.
        size: Total number of elements in all of the parts.
    # Returns
        average: Average over all parts.
        variance: Variance over all parts.
    """
    average = np.average(averages, weights=counts)

    # necessary for correct variance in case of multidimensional arrays
    if size is not None:
        counts = counts * size // np.sum(counts, dtype='int')

    squares = (counts - 1) * variances + counts * (averages - average)**2
    return average, np.sum(squares) / (size - 1)

It can be used as follows:

# sizes k_j and n
ks = np.random.poisson(10, 10)
n = np.sum(ks)

# create data
x = np.random.randn(n, 20)
parts = np.split(x, np.cumsum(ks[:-1]))

# compute statistics on parts
ms = [np.mean(p) for p in parts]
vs = [np.var(p, ddof=1) for p in parts]

# combine and compare
combined = combine(ms, vs, ks, x.size)
numpied = np.mean(x), np.var(x, ddof=1)
distance = np.abs(np.array(combined) - np.array(numpied))
print('combined --- mean:{: .9f} - var:{: .9f}'.format(*combined))
print('numpied  --- mean:{: .9f} - var:{: .9f}'.format(*numpied))
print('distance --- mean:{: .5e} - var:{: .5e}'.format(*distance))

— Mr Tsjolder
fonte

Como calcular a variação de uma partição de variáveis

derivação

python code