Gráfico de dispersão com muitos pontos

Estou tentando plotar duas variáveis ​​em que N = 700K. O problema é que há muita sobreposição, de modo que a trama se torna principalmente um sólido bloco de preto. Existe alguma maneira de ter uma "nuvem" em escala de cinza em que a escuridão da trama é uma função do número de pontos em uma região? Em outras palavras, em vez de mostrar pontos individuais, quero que o gráfico seja uma "nuvem", com o número de pontos em uma região, mais escura será a região.

Uma maneira de lidar com isso é com a mistura alfa, que torna cada ponto um pouco transparente. Portanto, as regiões parecem mais escuras e com mais pontos traçados nelas.

Isso é fácil de fazer em ggplot2:

df <- data.frame(x = rnorm(5000),y=rnorm(5000))
ggplot(df,aes(x=x,y=y)) + geom_point(alpha = 0.3)

Outra maneira conveniente de lidar com isso é (e provavelmente mais apropriado para o número de pontos que você possui) é o bin hexagonal:

ggplot(df,aes(x=x,y=y)) + stat_binhex()

E também há binning retangular antigo regular (imagem omitida), que é mais parecido com o seu mapa de calor tradicional:

ggplot(df,aes(x=x,y=y)) + geom_bin2d()

Você também pode dar uma olhada no ggsubplotpacote. Este pacote implementa os recursos apresentados por Hadley Wickham em 2011 ( http://blog.revolutionanalytics.com/2011/10/ggplot2-for-big-data.html ).

(A seguir, incluo a camada "points" para fins de ilustração.)

library(ggplot2)
library(ggsubplot)

# Make up some data
set.seed(955)
dat <- data.frame(cond = rep(c("A", "B"), each=5000),
                  xvar = c(rep(1:20,250) + rnorm(5000,sd=5),rep(16:35,250) + rnorm(5000,sd=5)),
                  yvar = c(rep(1:20,250) + rnorm(5000,sd=5),rep(16:35,250) + rnorm(5000,sd=5)))


# Scatterplot with subplots (simple)
ggplot(dat, aes(x=xvar, y=yvar)) +
  geom_point(shape=1) +
  geom_subplot2d(aes(xvar, yvar,
                     subplot = geom_bar(aes(rep("dummy", length(xvar)), ..count..))), bins = c(15,15), ref = NULL, width = rel(0.8), ply.aes = FALSE)

No entanto, esse recurso é ótimo se você tiver uma terceira variável para controlar.

# Scatterplot with subplots (including a third variable) 

ggplot(dat, aes(x=xvar, y=yvar)) +
  geom_point(shape=1, aes(color = factor(cond))) +
  geom_subplot2d(aes(xvar, yvar,
                     subplot = geom_bar(aes(cond, ..count.., fill = cond))),
                 bins = c(15,15), ref = NULL, width = rel(0.8), ply.aes = FALSE)  

Ou outra abordagem seria usar smoothScatter():

smoothScatter(dat[2:3])

Uma visão geral de várias boas opções em ggplot2:

library(ggplot2)
x <- rnorm(n = 10000)
y <- rnorm(n = 10000, sd=2) + x
df <- data.frame(x, y)

Opção A: pontos transparentes

o1 <- ggplot(df, aes(x, y)) +
  geom_point(alpha = 0.05)

Opção B: adicione contornos de densidade

o2 <- ggplot(df, aes(x, y)) +
  geom_point(alpha = 0.05) +
  geom_density_2d()

Opção C: adicione contornos de densidade preenchidos

o3 <- ggplot(df, aes(x, y)) +
  stat_density_2d(aes(fill = stat(level)), geom = 'polygon') +
  scale_fill_viridis_c(name = "density") +
  geom_point(shape = '.')

Opção D: mapa de calor de densidade

o4 <- ggplot(df, aes(x, y)) +
  stat_density_2d(aes(fill = stat(density)), geom = 'raster', contour = FALSE) +       
  scale_fill_viridis_c() +
  coord_cartesian(expand = FALSE) +
  geom_point(shape = '.', col = 'white')

Opção E: hexbins

o5 <- ggplot(df, aes(x, y)) +
  geom_hex() +
  scale_fill_viridis_c() +
  geom_point(shape = '.', col = 'white')

Opção F: tapetes

o6 <- ggplot(df, aes(x, y)) +
  geom_point(alpha = 0.1) +
  geom_rug(alpha = 0.01)

Combine em uma figura:

cowplot::plot_grid(
  o1, o2, o3, o4, o5, o6,
  ncol = 2, labels = 'AUTO', align = 'v', axis = 'lr'
)

A mistura alfa também é fácil com os gráficos básicos.

df <- data.frame(x = rnorm(5000),y=rnorm(5000))
with(df, plot(x, y, col="#00000033"))

Os seis primeiros números após o #são a cor em hexadecimal RGB e os dois últimos são a opacidade, novamente em hexadecimal, de modo 33 a 3 / 16º opaco.

Você também pode usar linhas de contorno de densidade ( ggplot2):

df <- data.frame(x = rnorm(15000),y=rnorm(15000))
ggplot(df,aes(x=x,y=y)) + geom_point() + geom_density2d()

Ou combine contornos de densidade com mistura alfa:

ggplot(df,aes(x=x,y=y)) + 
    geom_point(colour="blue", alpha=0.2) + 
    geom_density2d(colour="black")

Você pode achar útil o hexbinpacote. Na página de ajuda de hexbinplot:

library(hexbin)
mixdata <- data.frame(x = c(rnorm(5000),rnorm(5000,4,1.5)),
                      y = c(rnorm(5000),rnorm(5000,2,3)),
                      a = gl(2, 5000))
hexbinplot(y ~ x | a, mixdata)

geom_pointdenistydo ggpointdensitypacote (desenvolvido recentemente por Lukas Kremer e Simon Anders (2019)) permite visualizar a densidade e os pontos de dados individuais ao mesmo tempo:

library(ggplot2)
# install.packages("ggpointdensity")
library(ggpointdensity)

df <- data.frame(x = rnorm(5000), y = rnorm(5000))
ggplot(df, aes(x=x, y=y)) + geom_pointdensity() + scale_color_viridis_c()

Meu método favorito para plotar esse tipo de dados é o descrito nesta pergunta - um gráfico de densidade de dispersão . A idéia é fazer um gráfico de dispersão, mas colorir os pontos de acordo com sua densidade (grosso modo, a quantidade de sobreposição nessa área).

Simultaneamente:

• mostra claramente a localização dos outliers e
• revela qualquer estrutura na área densa da trama.

Aqui está o resultado da resposta principal à pergunta vinculada: