É possível ter um par de variáveis aleatórias gaussianas para as quais a distribuição conjunta não é gaussiana?

Alguém me fez essa pergunta em uma entrevista de emprego e eu respondi que sua distribuição conjunta é sempre gaussiana. Pensei que sempre posso escrever um gaussiano bivariado com seus meios, variância e covariâncias. Gostaria de saber se pode haver um caso em que a probabilidade conjunta de dois gaussianos não seja gaussiana?

— MarkSAlen
fonte

Outro exemplo da Wikipedia . Obviamente, se as variáveis são independentes e marginalmente gaussianas, elas são conjuntamente gaussianas.

Um exemplo aqui wu.ece.ufl.edu/books/math/probability/jointlygaussian.pdf

— Stéphane Laurent

Respostas:

138

A distribuição normal bivariada é a exceção , não a regra!

É importante reconhecer que "quase todas" distribuições conjuntas com marginais normais não são a distribuição normal bivariada. Ou seja, o ponto de vista comum de que distribuições conjuntas com marginais normais que não são o normal bivariado são de alguma forma "patológicas", é um pouco equivocado.

Certamente, o normal multivariado é extremamente importante devido à sua estabilidade sob transformações lineares e, portanto, recebe grande parte da atenção nas aplicações.

Exemplos

É útil começar com alguns exemplos. A figura abaixo contém mapas de calor de seis distribuições bivariadas, todas com marginais normais padrão. Os esquerdos e médios na linha superior são normais bivariados, os demais não são (como deve ser aparente). Eles são descritos mais abaixo.

Exemplos de distribuição bivariada com marginais normais padrão.

Os ossos nus das cópulas

As propriedades da dependência são frequentemente analisadas eficientemente usando cópulas . Uma cópula bivariada é apenas um nome sofisticado para uma distribuição de probabilidade no quadrado da unidade com marginais uniformes . $[0,1]^2$

Suponha que seja uma cópula bivariada. Então, imediatamente acima, sabemos que , e , por exemplo. $C(u,v)$ $C(u,v) \geq 0$ $C(u,1) = u$ $C(1,v) = v$

Podemos construir variáveis aleatórias bivariadas no plano euclidiano com marginais pré - especificados por uma simples transformação de uma cópula bivariada. Permita que e sejam distribuições marginais prescritas para um par de variáveis aleatórias . Então, se é uma cópula bivariada, é uma função de distribuição bivariada com os marginais e . Para ver esse último fato, observe que O mesmo argumento funciona para . $F_1$ $F_2$ $(X,Y)$ $C(u,v)$

F (x, y) = C (F_{1} (x), F_{2} (y))

$F(x,y) = C(F_1(x), F_2(y))$

F_{1}

$F_1$

F_{2}

$F_2$

P (X \leq x) = P (X \leq x, Y < \infty) = C (F_{1} (x), F_{2} (\infty)) = C (F_{1} (x), 1) = F_{1} (x) .

$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$

F_{2}

$F_2$

Para e contínuos , o teorema de Sklar afirma uma inversa, implicando singularidade. Ou seja, dada uma distribuição bivariada com marginais contínuos , , a cópula correspondente é única (no espaço de intervalo apropriado). $F_1$ $F_2$ $F(x,y)$ $F_1$ $F_2$

O normal bivariado é excepcional

O teorema de Sklar nos diz (essencialmente) que existe apenas uma cópula que produz a distribuição normal bivariada. Este é, apropriadamente chamado, a cópula gaussiana que tem densidade em que o numerador é a distribuição normal bivariada com correlação avaliada em e . $[0,1]^2$

c_{ρ} (u, v) := \frac{\partial^{2}}{\partial u \partial v} C_{ρ} (u, v) = \frac{φ_{2, ρ} (Φ^{- 1} (u), Φ^{- 1} (v))}{φ (Φ^{- 1} (u)) φ (Φ^{- 1} (v))},

$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$

ρ

$\rho$

Φ^{- 1} (u)

$\Phi^{-1}(u)$

Φ^{- 1} (v)

$\Phi^{-1}(v)$

Porém, existem muitas outras cópulas e todas elas fornecerão uma distribuição bivariada com marginais normais, que não é a bivariada normal, usando a transformação descrita na seção anterior.

Alguns detalhes nos exemplos

Observe que se for uma cópula arbitrária com densidade , a densidade bivariada correspondente com marginais normais padrão sob a transformação é $C(u,v)$ $c(u,v)$ $F(x,y) = C(\Phi(x),\Phi(y))$

f (x, y) = φ (x) φ (y) c (Φ (x), Φ (y)) .

$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$

Observe que, aplicando a cópula gaussiana na equação acima, recuperamos a densidade normal bivariada. Mas, para qualquer outra opção de , não o faremos. $c(u,v)$

Os exemplos na figura foram construídos da seguinte maneira (passando por cada linha, uma coluna por vez):

Bivariada normal com componentes independentes.
Bivariada normal com . $\rho = -0.4$
O exemplo dado nesta resposta de Dilip Sarwate . Pode-se ver facilmente induzido pela cópula com densidade . $C(u,v)$ $c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
Gerado a partir da cópula de Frank com o parâmetro . $\theta = 2$
Gerado a partir da cópula de Clayton com o parâmetro . $\theta = 1$
Gerado a partir de uma modificação assimétrica da cópula de Clayton com o parâmetro . $\theta = 3$

— cardeal
fonte

+1 para a observação de que a densidade normal bivariada é o caso excepcional!

— usar o seguinte

Talvez esteja faltando alguma coisa, mas se começarmos com , a distribuição conjunta é definida automaticamente, independentemente de qualquer construção de cópula, e se aplicarmos um método não- Cópula gaussiana para suas CDFs, é verdade que obteremos uma CDF não gaussiana , mas essa função em geral não será a CDF do par de variáveis aleatórias quais começamos, certo ?

X_{1}, X_{2} \sim N (0, 1)

$X_1, X_2\sim\mathcal N(0,1)$

(X_{1}, X_{2})

$(X_1, X_2)$

F (x_{1}, x_{2})

$F(x_1,x_2)$

X_{,} X_{2}

$X_, X_2$

— usar o seguinte comando

Exemplo de como simular como no painel inferior direito: library(copula) kcf <- khoudrajiCopula(copula2 = claytonCopula(6), shapes = fixParam(c(.4, 1), c(FALSE, TRUE))) # force normal margins evil <- mvdc(kcf, c("norm", "norm"), list(list(mean = 0, sd =1), list(mean = 0, sd = 1))) contour(evil, dMvdc, xlim = c(-3, 3), ylim=c(-3, 3))

— passe metade

@RandomGuy, está faltando uma suposição não declarada de que . Se você assume que eles são independentes, então sim, você já conhece a distribuição conjunta. Sem a suposição de independência, conhecer as distribuições marginais não fornece informações suficientes para especificar a distribuição conjunta.

X_{1}, X_{2} \sim i n d e p e n d e n t N (0, 1)

$X_1, X_2 \sim independent N(0, 1)$

— MentatOfDune 19/02

É verdade que cada elemento de um vetor normal multivariado é ele próprio normalmente distribuído e você pode deduzir suas médias e variações. No entanto, não é verdade que duas variáveis aleatórias da Guassiana sejam distribuídas normalmente em conjunto. Aqui está um exemplo:

Edit: Em resposta ao consenso de que uma variável aleatória que é uma massa pontual pode ser considerada uma variável normalmente distribuída com , estou mudando meu exemplo. $\sigma^2=0$

Seja e onde é uma variável aleatória . Ou seja, cada um com probabilidade . $X \sim N(0,1)$ $Y = X \cdot (2B-1)$ $B$ ${\rm Bernoulli}(1/2)$ $Y = \pm X$ $1/2$

Primeiro, mostramos que tem uma distribuição normal padrão. $Y$ Pela lei da probabilidade total ,

P (Y \leq y) = \frac{1}{2} (P (Y \leq y | B = 1) + P (Y \leq y | B = 0))

$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$

Próximo,

P (Y \leq y | B = 0) = P (- X \leq y) = 1 - P (X \leq - y) = 1 - Φ (- y) = Φ (y)

$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$

onde é o CDF normal padrão . Similarmente, $\Phi$

P (Y \leq y | B = 1) = P (X \leq y) = Φ (y)

$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$

Portanto,

P (Y \leq y) = \frac{1}{2} (Φ (y) + Φ (y)) = Φ (y)

$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$

então, o CDF de é , portanto . $Y$ $\Phi(\cdot)$ $Y \sim N(0,1)$

Agora mostramos que não são normalmente distribuídos em conjunto. $X,Y$ Como @cardinal aponta, uma caracterização do normal multivariado é que toda combinação linear de seus elementos é normalmente distribuída. não tem essa propriedade, pois $X,Y$

Y + X = {\begin{cases} 2 X & if B = 1 \\ 0 & if B = 0. \end{cases}

$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$

Portanto, é uma mistura de uma variável aleatória e uma massa pontual em 0, portanto, não pode ser normalmente distribuída. $Y+X$ $50/50$ $N(0,4)$

— Macro
fonte

Eu não concordo com esta resposta. Uma massa pontual degenerada de at é geralmente considerada uma variável aleatória gaussiana degenerada com variância zero. Além disso, não são conjuntamente contínuos, embora sejam marginalmente contínuos. Para um exemplo de duas variáveis aleatórias conjuntamente contínuas que são marginalmente gaussianas, mas não conjuntamente gaussianas, veja, por exemplo, a segunda metade desta resposta .

1

$1$

μ

$\mu$

(X, - X)

$(X, -X)$

— precisa

@DilipSarwate, a questão era dar um exemplo (se existir) de duas variáveis que são normalmente distribuídas, mas sua distribuição conjunta não é normal multivariada. Isto é um exemplo. A maioria das definições padrão da distribuição normal (por exemplo, wikipedia en.wikipedia.org/wiki/Normal_distribution ) exige que a variação seja estritamente positiva, não incluindo uma massa pontual como parte da família de distribuições normais.

— Macro

Uma caracterização padrão do gaussiano multivariado é que é gaussiano multivariado se e somente se for gaussiano para todos os . Como o @Dilip sugere, vale a pena considerar se isso é verdadeiro para o seu exemplo.

X \in R^{n}

$X \in \mathbb R^{n}$

a^{T} X

$a^T X$

a \in R^{n}

$a \in \mathbb R^n$

— cardeal

Como você aparentemente não gosta de apelos à racionalidade ;-), que tal apelos à autoridade? (Isso é uma piada, se não for aparente.) Acabei de descobrir isso por acidente, enquanto procurava algo mais: Exemplo 2.4 , página 22 do GAF Seber e AJ Lee, Linear Regression Analysis , 2nd. ed., Wiley. Ele coloca: "Seja e coloque ... Assim, tem uma distribuição normal multivariada."

Y \sim N (μ, σ^{2})

$Y \sim \mathcal N(\mu,\sigma^2)$

Y^{'} = (Y, - Y)

$\mathbf Y' = (Y, -Y)$

Y

$\mathbf Y$

— cardeal

A discussão é sobre definições. Claramente, se for necessário que a matriz de covariância por definição não seja singular, a macro fornece um exemplo, mas este não é um exemplo de acordo com a definição mais liberal que @cardinal também se refere. Uma boa razão para preferir uma definição mais liberal é que todas as transformações lineares de variáveis normais são normais. Em particular, na regressão linear com erros normais, os resíduos têm uma distribuição normal conjunta, mas a matriz de covariância é singular.

— NRH 10/06/12

A postagem a seguir contém um esboço de uma prova, apenas para fornecer as principais idéias e começar.

Seja duas variáveis aleatórias gaussianas independentes e seja $z = (Z_1, Z_2)$ $x = (X_1, X_2)$

x = (\begin{matrix} X_{1} \\ X_{2} \end{matrix}) = (\begin{matrix} α_{11} Z_{1} + α_{12} Z_{2} \\ α_{21} Z_{1} + α_{22} Z_{2} \end{matrix}) = (\begin{matrix} α_{11} & α_{12} \\ α_{21} & α_{22} \end{matrix}) (\begin{matrix} Z_{1} \\ Z_{2} \end{matrix}) = A z .

$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$

Cada , mas como ambas são combinações lineares dos mesmos r.vs independentes, elas são dependentes em conjunto. $X_i \sim N(\mu_i, \sigma_i^2)$

Definição Diz-se que um par de r.vs é bivariado normalmente distribuído se puder ser escrito como uma combinação linear de r.vs normais independentes . $x = (X_1, X_2)$ $x = Az$ $z = (Z_1, Z_2)$

Lema Se é um gaussiano bivariado, qualquer outra combinação linear deles é novamente uma variável aleatória normal. $x = (X_1, X_2)$

Prova . Trivial, pulado para não ofender ninguém.

Propriedade Se não são correlacionados, eles são independentes e vice-versa. $X_1, X_2$

Distribuição de $X_1 | X_2$

Suponha que sejam os mesmos r.vs gaussianos de antes, mas vamos supor que eles tenham variação positiva e média zero por simplicidade. $X_1, X_2$

Se é o subespaço estendido por , deixe e . $\mathbf S$ $X_2$ $X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$ $X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ e são combinações lineares de , então também. Eles são conjuntamente gaussianos, não correlacionados (provam) e independentes. $X_2$ $z$ $X_2, X_1^{\mathbf S^\perp}$

A decomposição mantém com

X_{1} = X_{1}^{S} + X_{1}^{S^{⊥}}

$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$

E [X_{1} | X_{2}] = \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2} = X_{1}^{S}

$\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

\begin{aligned} V [X_{1} | X_{2}] & = V [X_{1}^{S^{⊥}}] \\ = E {[X_{1} - \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2}]}^{2} \\ = (1 - ρ)^{2} σ_{X_{1}}^{2} . \end{aligned}

$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$

Então

X_{1} | X_{2} \sim N (X_{1}^{S}, (1 - ρ)^{2} σ_{X_{1}}^{2}) .

$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$

Duas variáveis aleatórias gaussianas univariadas são conjuntamente gaussianas se os condicionais e são gaussianos. $X, Y$ $X | Y$ $Y|X$

— auxiliar
fonte

Não é aparente como essa observação responde à pergunta. Como a regra do produto é praticamente a definição de distribuição condicional, ela não é especial para distribuições binormais. A afirmação subsequente "então em ordem ..." não fornece nenhum motivo: exatamente por que as distribuições condicionais também devem ser normais?

— whuber

whuber, estou respondendo à pergunta principal: "Gostaria de saber se pode haver um caso em que a probabilidade conjunta de dois gaussianos não seja gaussiana?". Então, a resposta é: quando o condicional não é normal. - Ancillary

— auxiliar

Você poderia concluir essa demonstração? No momento, é apenas uma afirmação de sua parte, sem provas. Não é de todo evidente que esteja correto. Também está incompleto, porque você precisa estabelecer a existência: ou seja, você precisa demonstrar que é realmente possível que uma distribuição conjunta tenha marginais normais, mas para a qual pelo menos uma condicional não seja normal. Agora, na verdade, isso é trivialmente verdade, porque você pode alterar livremente cada distribuição condicional de um binormal em um conjunto de medidas zero sem alterar seus marginais - mas essa possibilidade parece contradizer suas afirmações.

— whuber

Oi @ whuber, espero que isso ajude mais. Você tem alguma sugestão ou edição a fazer? Escrevi isso muito rapidamente, pois no momento não tenho muito tempo livre :-) mas gostaria de valorizar qualquer sugestão ou melhoria que você possa fazer. Best

— acessória

(1) O que você está tentando provar? (2) Como a pergunta pergunta quando uma distribuição com marginais gaussianos não é conjunta gaussiana, não vejo como esse argumento está levando a algo relevante.

— whuber

É possível ter um par de variáveis ​​aleatórias gaussianas para as quais a distribuição conjunta não é gaussiana?

É possível ter um par de variáveis aleatórias gaussianas para as quais a distribuição conjunta não é gaussiana?