Independência da média da amostra e variância da amostra na distribuição binomial

Deixe . Sabemos que e . Isso implica que a média da amostra e a variação da amostra são dependentes uma da outra? Ou significa apenas que a variação da população pode ser escrita em função da média da população ? $X\sim\mathrm{Binomial}(n,p)$ $\mathrm{E}[X]=np$ $\mathrm{Var}[X]=np(1-p)$ $\bar x$ $s^2$

distributions binomial independence

— user6874652
fonte

Respostas:

$\bar x$ e são variáveis aleatórias. Podemos calcular sua distribuição conjunta. Vamos tentar o caso não trivial mais simples possível, o de uma amostra de tamanho de uma distribuição Binomial . Existem apenas quatro possibilidades para essa amostra, que são tabuladas juntamente com suas probabilidades (calculadas a partir da independência dos dois elementos da amostra): $s^2$ $2$ $(1,p)$

First value | Second value | Mean | Variance | Probability
          0 |            0 |    0 |        0 | (1-p)^2
          0 |            1 |  1/2 |      1/2 | (1-p)p
          1 |            0 |  1/2 |      1/2 | p(1-p)
          1 |            1 |    1 |        0 | p^2

A média prediz perfeitamente a variação neste exemplo. Assim, desde que todas as probabilidades sejam diferentes de zero (ou seja, não é nem ), a média da amostra e a variação da amostra não são independentes. $p$ $0$ $1$

Uma questão interessante é se, em uma família de distribuições, a média determina a variação, a média da amostra e a variação da amostra podem ser independentes. A resposta é sim: pegue qualquer família de distribuições Normais nas quais a variação depende da média, como o conjunto de todas as distribuições Normais . Não importa qual dessas distribuições governe a amostra, a média e a variação da amostra serão independentes, porque esse é o caso de qualquer distribuição Normal. $(\mu, \mu^2)$

Essa análise sugere que questões sobre a estrutura de uma família de distribuições (que dizem respeito a , , etc.) não têm influência sobre questões de independência das estatísticas das amostras de qualquer elemento da família. $n$ $p$ $\mu$

— whuber
fonte

Mas talvez seja porque a distribuição normal é um caso "especial"? Quero dizer, sabe-se que, para qualquer distribuição normal, é verdade que a média da amostra é independente da variação da amostra. Mas o que acontece se estamos lidando com uma distribuição que não é uma distribuição normal?

— user6874652

Normalmente, a média da amostra e a variação da amostra não são independentes. Não faz diferença de que família de distribuições a distribuição possa fazer parte.

— whuber

@ whuber: Exceto que, com a média e a variação da amostra são independentes.

N (μ, σ^{2})

$N(\mu, \sigma^2)$

— Michael Hardy

@ Michael Obrigado. Eu já notei isso no corpo da resposta.

— whuber

@ whuber: obrigado pela análise. Você também pode divulgar o Rcódigo? Muito Obrigado.

— Maximilian

A propriedade que, para uma amostra iid, a média da amostra e a variação da amostra são independentes, é uma caracterização da distribuição normal: para nenhuma outra distribuição essa propriedade é válida.

Ver Patel, JK, & Read, CB (1982). Manual da distribuição normal , p. 81 na 1ª edição de 1982, no capítulo "Caracterizações" (pode ter mudado de página na 2ª edição de 1996).

Portanto, para qualquer outra distribuição, a média da amostra e a variação da amostra são estatisticamente dependentes.

O resultado geral referente à média da amostra e à variação da amostra de uma amostra de qualquer distribuição que tenha momentos até o 3d é o seguinte (usando o estimador imparcial para a variação):

Cov (\bar{X}, s^{2}) = E (\bar{X} s^{2}) - E (x) Var (x) = \frac{1}{n} E [X - E (x)]^{3}

$\operatorname{Cov} (\bar X, s^2) = E(\bar X s^2) - E(x)\operatorname{Var}(x) = \frac 1n E[X-E(x)]^3$

Em palavras, a covariância entre a média da amostra e a variância da amostra é igual ao terceiro momento central, dividido por . Consequências: $n$

1) À medida que o tamanho da amostra aumenta, os dois tendem a se tornar não correlacionados.

2) Para qualquer distribuição que tenha o terceiro momento central igual a zero, elas não são correlacionadas (embora permaneçam dependentes, para todas as distribuições, exceto a normal). É claro que isso inclui todas as distribuições simétricas sobre sua média, mas também outras distribuições que não são simétricas sobre sua média, mas que ainda têm o terceiro momento central igual a zero , veja este tópico .

— Alecos Papadopoulos
fonte

(+1) O hiperlink está morto para mim.

— COOLSerdash

@COOLSerdash Funciona para mim. É um link para uma página da Amazon, talvez isso esteja bloqueado para você?

— Graipher

@COOLSerdash Thanks. Como mencionado, o hiperlink parece válido. Basta procurar "Manual de distribuição normal Patel Read".

— Alecos Papadopoulos

(+1) Suspeitei que esse poderia ser o caso, mas nunca vi uma declaração formal desse fato. Existem distribuições não normais para as quais a média e a variação da amostra não estão correlacionadas?

— John Coleman

@AlecosPapadopoulos Sim, é claro. Nesse caso, seria um exemplo interessante de quando não correlacionado não implica independente. Ainda não elaborei todos os detalhes, mas U(0,1)parece funcionar.

— John Coleman

$\operatorname{Bernoulli}(p) = \operatorname{Binomial}(1,p).$ $N:$

\begin{aligned} N s^{2} = \sum_{k = 1}^{N} (x_{k} - \bar{x})^{2} = & (\sum_{k} x_{k}^{2}) - (2 \bar{x} \sum_{Eu} x_{k}) + (N {\bar{x}}^{2}) \\ = & (\sum_{k} x_{k}) - 2 \bar{x} \sum_{k} x_{k} + (n {\bar{x}}^{2}) \\ Desde a x_{k} = 0 0 ou 1, tão x_{k}^{2} = x_{k} \\ = & N \bar{x} - 2 N {\bar{x}}^{2} + N {\bar{x}}^{2} \\ = & N \bar{x} (1 - \bar{x}), \\ tão s^{2} = & \bar{x} (1 - \bar{x}) . \end{aligned}

$\begin{align} Ns^2 = \sum_{k=1}^N (x_k - \overline x)^2 = {} & \left( \sum_k x_k^2 \right) - \left( 2\overline x \sum_i x_k \right) + \left( N\overline x^2 \right) \\[10pt] = {} & \left( \sum_k x_k \right) - 2\overline x \sum_k x_k + \left( n\overline x^2 \right) \\ & \text{since $x_k = 0$ or $1$, so $x_k^2=x_k$} \\[12pt] = {} & N\overline x - 2N\overline x^2 + N \overline x^2 \\[10pt] = {} & N \overline x(1-\overline x), \\[10pt] \text{so } s^2 = {} & \overline x(1-\overline x). \end{align}$

n

$n$

1,

$1,$

\bar{x}

$\overline x$

\bar{x} (1 - \bar{x}) .

$\overline x(1-\overline x).$

$np$ $n(1-p)$

— Michael Hardy
fonte