Exemplos de dados independentes e não correlacionados na vida real e maneiras de medi-los / detectá-los

Sempre ouvimos sobre esse vetor de dados VS esse outro vetor de dados independente um do outro ou não correlacionado etc., e embora seja fácil encontrar a matemática com relação a esses dois conceitos, quero associá-los a exemplos de vida, e também encontrar maneiras de medir esse relacionamento.

Desse ponto de vista, estou procurando exemplos de dois sinais com as seguintes combinações: (começarei com alguns):

Dois sinais independentes E (necessariamente) não correlacionados:
- O barulho de um motor de carro (chame de ) e sua voz ( ) enquanto você está falando. $v_1[n]$ $v_2[n]$
- Uma gravação de umidade todos os dias ( ) e o índice dow-jones ( ). $v_1[n]$ $v_2[n]$

Q1) Como você mede / prova que eles são independentes com esses dois vetores em mãos? Sabemos que independência significa que o produto de seus PDFs é igual ao PDF conjunto, e isso é ótimo, mas com esses dois vetores em mãos, como provar a sua independência?

Dois sinais que NÃO são independentes, mas ainda não correlacionados:

Q2) Não consigo pensar em exemplos aqui ... quais seriam alguns exemplos? Sei que podemos medir a correlação tomando a correlação cruzada de dois desses vetores, mas como provaríamos que eles também NÃO são independentes?

Dois sinais que estão correlacionados:
- Um vetor medindo a voz de uma cantora de ópera no salão principal, , enquanto alguém grava sua voz de algum lugar dentro do prédio, digamos na sala de ensaios ( ). $v_1[n]$ $v_2[n]$
- Se você medisse continuamente sua frequência cardíaca em seu carro ( ) e também medisse a intensidade das luzes azuis no seu pára-brisa traseiro ( ) ... Suponho que elas estejam muito correlacionadas. . :-) $v_1[n]$ $v_2[n]$

Q3) Em relação ao q2, mas no caso de medir a correlação cruzada desse ponto de vista empírico, é suficiente olhar para o produto escalar desses vetores (já que esse é o valor no pico da correlação cruzada)? Por que nos importamos com outros valores na função cross-corr?

Mais uma vez obrigado, quanto mais exemplos, melhor para a construção da intuição!

cross-correlation independence

— Spacey
fonte

@DilipSarwate Obrigado Dilip, vou dar uma olhada nisso. Por enquanto, alguns exemplos seriam bons.

— Spacey

Você não pode "provar" que eles são independentes da mesma maneira que mesmo uma pesquisa bem construída não pode "provar" como todo mundo vai votar - e pelos mesmos motivos.

— 21712 Jim Clay

@JimClay Sinta-se à vontade para relaxar o critério 'provar' - o que estou tentando entender são maneiras de medir / quantificar a independência. Muitas vezes ouvimos sobre isso e aquilo ser independente, bem, como eles sabem disso? Que fita métrica está sendo usada?

— Spacey

Eu gostaria de saber se a correlação cruzada pode ser usada para dois sinais analógicos, um de alta resolução e outro de baixa resolução para fins de análise.

Se tivermos alguma variável aleatória X e construir 2 sinais a ** = (x) e b ** ** = (x) com e sendo ortogonais e ** x = a + b $f_1$ $f_2$ $f_1$ $f_2$ . Isso implica que esses sinais são independentes? Isso requer algumas condições adicionais? Essa propriedade seria interessante porque evita a construção de pdf conjunto de a e b .

— Mladen

Respostas:

Alguns elementos ... (Eu sei que isso não é exaustivo, uma resposta mais completa provavelmente deve mencionar momentos)

Para verificar se duas distribuições são independentes, é necessário medir a semelhança entre a distribuição conjunta e o produto da distribuição marginal . Para esse fim, você pode usar qualquer distância entre distribuições. Se você usar a divergência Kullback-Leibler para comparar essas distribuições, considerará a quantidade: $p(x,y)$ $p(x) \times p(y)$

$\int_x \int_y p(x, y) \log \frac{p(x, y)}{p(x) p(y)} dx dy$

E você terá reconhecido ... a informação mútua! Quanto menor, mais independentes são as variáveis.

Na prática, para calcular essa quantidade a partir de suas observações, você pode estimar as densidades , , dos seus dados usando um estimador de densidade do Kernel e fazer uma integração numérica em uma grade fina ; ou apenas quantifique seus dados em compartimentos e use a expressão das Informações mútuas para distribuições discretas. $p(x)$ $p(y)$ $p(x, y)$ $N$

Na página da Wikipedia sobre independência estatística e correlação:

Gráficos de distribuição

No excepção do último exemplo, estes 2D distribuições tem não correlacionado (matriz covariância diagonal), mas não independente, marginal distribuições e . $p(x, y)$ $p(x)$ $p(y)$

De fato, existem situações em que você pode examinar todos os valores das funções de correlação cruzada. Eles surgem, por exemplo, no processamento de sinais de áudio. Considere dois microfones capturando a mesma fonte, mas distantes de alguns metros. A correlação cruzada dos dois sinais terá um pico forte no atraso correspondente à distância entre microfones dividida pela velocidade do som. Se você apenas observar a correlação cruzada no atraso 0, não verá que um sinal é uma versão com mudança de tempo do outro!

— pichenettes
fonte

Obrigado, pichenettes: 1) Você pode, por favor, elaborar seu primeiro ponto - estou realmente com dificuldades para entender como, a partir de dois vetores de dados, x [n] e y [n], é possível obter o PDF CONJUNTO ,

. Eu posso entender como tirar um histograma de x [n] me dará pdf de X, (

) e o mesmo com Y, mas como diabos alguém cria uma junta com dois vetores? pedindo concretamente -.. mapeamento concreto exato de um PDF a partir de amostras observadas Isto é o que está me confundindo a mais (cont)

p (x, y)

$p(x,y)$

p(x}

$p(x}$

— Spacey

(continuação) 2) Então, para resumir: Se a matriz de covariância de x e y é diagonal, então elas não estão correlacionadas, mas NÃO são necessariamente independentes independentemente corretas? Testar a independência foi o problema com a pergunta de acompanhamento (1). No entanto, se mostrarmos que eles são independentes, é claro que sua matriz de covariância tem que ser diagonal. Eu entendi certo? Qual é um exemplo de 2 sinais físicos que posso medir na vida real que seriam dependentes, mas não correlacionados? Obrigado novamente.

— Spacey

Digamos que você tenha dois sinais

representados como vetores de

elementos. Você pode obter uma estimativa de

usando, por exemplo, um estimador de densidade do Kernel:

x_{n}

$x_n$

y_{n}

$y_n$

N

$N$

p (x, y)

$p(x, y)$

onde

é uma função do Kernel. Ou você pode usar a mesma técnica para criar um histograma, mas em 2D. Construa uma grade retangular, conte quantos pares

caem em cada célula da grade e use

p^{*} (x, y) = \sum_{i} \frac{1}{N} K (x - x_{i}, y - y_{i})

$p^*(x, y) = \sum_i \frac{1}{N}K(x - x_i, y - y_i)$

K

$K$

(x_{n}, y_{n})

$(x_n, y_n)$

que N é o tamanho dos seus sinais e

é o número de elementos na célula associados ao ponto

p^{*} (x, y) = \frac{C}{N}

$p^*(x, y) = \frac{C}{N}$

C

$C$

(x, y)

$(x, y)$

— Pichenettes

"2 sinais físicos que seriam dependentes, mas não correlacionados": digamos que invadimos o GPS de um táxi de Nova York para registrar um histórico (latitude, longitude) de sua posição. Há uma boa chance de o lat., Longo. os dados não serão correlacionados - não há "orientação" privilegiada da nuvem de pontos. Mas dificilmente será independente, pois, se lhe pedissem para adivinhar a latitude do táxi, você poderia adivinhar muito melhor se conhecesse a longitude (você poderia então olhar para um mapa e descartar o [lat, longos] ocupados por edifícios).

— Pichenettes

Outro exemplo: dois senos acenam em um múltiplo inteiro da mesma frequência. Correlação nula (a base de Fourier é ortonormal); mas se você conhece o valor de um, existe apenas um conjunto finito de valores que o outro pode receber (pense em um gráfico de Lissajous).

— Pichenettes

Inferir se dois sinais são independentes é muito difícil de fazer (dadas observações finitas) sem nenhum conhecimento / premissa prévia.

Duas variáveis aleatórias e são independentes se o valor de não fornecer nenhuma informação sobre o valor de (ou seja, não afeta nossa distribuição de probabilidade anterior para ). Isso é equivalente a qualquer transformação não linear de e não estar correlacionada, isto é, $X$ $Y$ $X$ $Y$ $Y$ $X$ $Y$ para qualquer e não linearassumindo que wlog ambas as variáveis têm média zero. A diferença entre independência e não correlação é que e não são correlacionados se o acima for válido, somente paraa função de identidade .

cov (f_{1} (X), f_{2} (Y)) = E (f_{1} (X), f_{2} (Y)) = 0

$\text{cov}(f_1(X),f_2(Y)) = E(f_1(X),f_2(Y)) = 0$

f_{1}

$f_1$

f_{2}

$f_2$

X

$X$

Y

$Y$

f_{1} (x) = f_{2} (x) = x

$f_1(x) = f_2(x) = x$

Se assumirmos Gaussianidade conjunta, todos os momentos conjuntos maiores que a ordem 2 serão iguais a zero e, neste caso, não correlacionados, implica independentes. Se não tivermos suposições anteriores, a estimativa dos momentos conjuntos nos dará informações sobre 'quão dependentes' eles são uns dos outros. $E(X^iY^j)$

Podemos generalizar isso para os sinais e considerando os espectros cruzados em todas as frequências . $X(t)$ $Y(t)$

S_{X, Y} (f), S_{X^{2}, Y} (f), S_{X, Y^{2}} (f) \dots

$S_{X,Y}(f),S_{X^2,Y}(f),S_{X,Y^2}(f) \dots$

f

$f$

Exemplo :

X (t) = \sin (2 π f t)

$X(t) = \sin(2 \pi ft)$

Y (t) = \sin (2 π f t k)

$Y(t) = \sin( 2 \pi ftk)$

k \in Z

$k \in \mathbb{Z}$

k \neq 1

$k \neq 1$

X (t)

$X(t)$

Y (t)

$Y(t)$

\sin (k x)

$\sin(kx)$

\sin (x)

$\sin(x)$

Y (t) = f (X (t))

$Y(t) = f (X (t))$

f

$f$

$X(t)$ $Y(t)$

— rwolst
fonte

Você pode, por favor, elaborar o que exatamente os espectros cruzados de

X_{x^{2}, Y} (f)

$X_{x^2, Y}(f)$ é exatamente? Obrigado.

— Spacey

pt.wikipedia.org/wiki/Cross-spectrum Onde estamos considerando o espectro cruzado entre os sinais

X^{2} (t)

$X^2(t)$ e

Y (t)

$Y(t)$ .

— Rwolst