Como discutir um gráfico de dispersão com várias linhas emergentes?

11

Medimos duas variáveis, e o gráfico de dispersão parece sugerir vários modelos "lineares". Existe uma maneira de tentar destilar esses modelos? Identificar outras variáveis independentes acabou sendo difícil.

Gráfico de dispersão das duas variáveis

Ambas as variáveis são fortemente inclinadas para a esquerda (em direção aos pequenos números); essa é uma distribuição esperada em nosso domínio. A intensidade do ponto representa a quantidade de pontos de dados (em uma escala ) nessa . $\log_{10}$ $<x,y>$

Como alternativa, existe uma maneira de agrupar os pontos?

Em nosso campo, afirma-se que essas duas variáveis se correlacionam linearmente. Estamos tentando entender / explicar por que não é o caso em nossos dados.

(observe, temos 17 milhões de pontos de dados)

update: obrigado por todas as respostas, aqui estão alguns esclarecimentos solicitados:

Ambas as variáveis são apenas números inteiros, o que explica alguns dos padrões no gráfico de dispersão do log.
Felizmente, por definição, o valor mínimo de ambas as variáveis é 1.
7M pontos estão em ("explicado" pela inclinação à esquerda dos dados) $<3,1>$

Aqui estão os gráficos solicitados:

gráfico de dispersão de log-log: Gráfico de dispersão no log de log

(os espaços em branco são causados pelos valores inteiros)

log-log polar: coordenadas polares $\theta = y$

Histograma da razão:

A frequência é numa escala logarítmica, uma vez que o bar é pontos 7M, e iria esconder as outras barras. $1/3$

linear-model scatterplot

— Davy Landman
fonte

2

(r, θ)

$(r,\theta)$

X

$X$

Y

$Y$

θ

$\theta$

θ

$\theta$

Existem razões envolvidas na obtenção de Y e X? As variáveis que usam apenas valores discretos estão envolvidas? Como ele se parece com um gráfico de log-log?

— Glen_b -Reinstala Monica

1

@whuber & Glen_b Adicionei parcelas com essas transformações.

— Davy Landman

r

$r$

θ

$\theta$

θ

$\theta$

θ

$\theta$

@whuber Atualizei o enredo, coloque o teta no y, são estas as linhas que você quer dizer?

— Davy Landman

7

$Y$ $X$ $Y/X$ são favorecidos e eu certamente observaria a distribuição dessa proporção. Além disso, se assim for, na minha experiência, não é útil procurar modelos separados, a menos que você esteja realmente misturando situações bem diferentes. (Para "fisicamente", leia "biologicamente" ou qualquer advérbio que faça sentido.)

$X/k$ $kX$ $k$

$Y = 0$ $\log(Y + \text{constant})$

Um ponto de terminologia: a assimetria nas estatísticas é descrita com referência à cauda mais esticada. Você é livre para considerar essa terminologia como inversa. Aqui, ambas as variáveis são inclinadas para valores altos ou positivamente ou para a direita.

$Y = 1$ $Y = 0$

Como antes, eu não recomendaria modelar faixas diferentes de maneira diferente sem uma razão científica para distingui-las ou tratá-las separadamente. Você deve apenas média sobre o que você tem. (Pode haver métodos conhecidos com esse tipo de dados para suprimir a discrição. Se as pessoas em seu campo medem rotineiramente milhões de pontos para cada gráfico, é difícil acreditar que isso não tenha sido visto antes.)

A correlação certamente deve ser positiva. Além de um teste formal de significância, que aqui seria totalmente inútil, pois pequenas correlações serão consideradas significativas com esse tamanho de amostra, se declarado forte é uma questão de expectativas e padrões em seu campo. Comparar quantitativamente sua correlação com os resultados de outras pessoas é um caminho a percorrer.

Detalhe: a assimetria ainda é descrita de maneira errada, de acordo com a convenção estatística. Essas variáveis estão inclinadas à direita; esse jargão se ajusta ao olhar para um histograma com eixo de magnitude horizontal e observar que a assimetria é nomeada para a cauda mais longa, não para a concentração com mais valores.

— Nick Cox
fonte

Adicionei plotagem de log-log e tentei ser mais preciso sobre a assimetria.

— Davy Landman

4

\begin{aligned} Y_{i} & = α_{1} + β_{1} X_{i} + ϵ_{i} \end{aligned}

$\begin{align} Y_i &= \alpha_1 + \beta_1X_i + \epsilon_i \end{align}$

m^{t h}

$m^{th}$

\begin{aligned} Y_{i} & = α_{m} + β_{m} X_{i} + ϵ_{i} \end{aligned}

$\begin{align} Y_i &= \alpha_m + \beta_mX_i + \epsilon_i \end{align}$

M

$M$

m^{t h}

$m^{th}$

p_{m}

$p_m$

\sum_{m} p_{m} = 1

$\sum_m p_m =1$

$\epsilon$ $N(0,\sigma^2)$

\begin{aligned} L (α, β, σ) = \sum_{m = 1}^{M} p_{m} \frac{1}{σ} ϕ (\frac{Y_{i} - α_{1} - β_{1} X_{i}}{σ}) \end{aligned}

$\begin{align} L(\alpha,\beta,\sigma) = \sum_{m=1}^M p_m\frac{1}{\sigma}\phi\left(\frac{Y_i-\alpha_1-\beta_1X_i}{\sigma}\right) \end{align}$

ϕ

$\phi$

3 M + 1

$3M+1$

\sum_{m} p_{m} = 1, p_{m} \geq 0

$\sum_m p_m=1,\; p_m\ge0$

α

$\alpha$

β

$\beta$

p_{m}

$p_m$

\frac{1}{M}

$\frac{1}{M}$

α

$\alpha$

β

$\beta$

$Z_i$ $p_m$ $p_m$ $Z_i$

\begin{aligned} L (α, β, σ) = \sum_{m = 1}^{M} (\frac{e x p (δ_{m} + γ_{m} Z_{i})}{\sum_{m^{'}} e x p (δ_{m^{'}} + γ_{m^{'}} Z_{i})}) \frac{1}{σ} ϕ (\frac{Y_{i} - α_{1} - β_{1} X_{i}}{σ}) \end{aligned}

$\begin{align} L(\alpha,\beta,\sigma) = \sum_{m=1}^M \left(\frac{exp(\delta_m+\gamma_mZ_i)}{\sum_{m'} exp(\delta_{m'}+\gamma_{m'}Z_i)}\right)\frac{1}{\sigma}\phi\left(\frac{Y_i-\alpha_1-\beta_1X_i}{\sigma}\right) \end{align}$

$5M+1$ $5M-1$ $\delta, \gamma$

$M$

— Conta
fonte

2

M

$M$

2

Eu observei um comportamento semelhante em alguns dos meus conjuntos de dados. No meu caso, as várias linhas diferentes foram causadas por erro de quantização em um dos meus algoritmos de processamento.

Ou seja, observamos parcelas dispersas de dados processados e o algoritmo de processamento teve alguns efeitos de quantização, que causaram dependências nos dados que se pareciam exatamente com as que você tem acima.

A correção dos efeitos da quantização fez com que nossa saída parecesse muito mais suave e menos agrupada.

Quanto ao seu comentário de "correlação linear". O que você apresentou é insuficiente para determinar se esses dados estão correlacionados linearmente ou não. Ou seja, em alguns campos, um coeficiente de correlação> 0,7 é considerado forte correlação linear. Dado que a maioria dos seus dados está próxima da origem, é perfeitamente concebível que seus dados sejam linearmente correlacionados em relação ao que a "sabedoria convencional" diria. A correlação diz muito pouco sobre um conjunto de dados.

— John
fonte