Cuidado sample
para dividir se você procura resultados reproduzíveis. Se seus dados mudarem um pouco, a divisão variará mesmo que você use set.seed
. Por exemplo, imagine que a lista ordenada de IDs em seus dados seja todos os números entre 1 e 10. Se você acabou de fazer uma observação, digamos 4, a amostragem por local produziria resultados diferentes, porque agora 5 a 10 todos os locais foram movidos.
Um método alternativo é usar uma função hash para mapear IDs em alguns números pseudo-aleatórios e, em seguida, fazer uma amostra no mod desses números. Essa amostra é mais estável porque a atribuição agora é determinada pelo hash de cada observação e não por sua posição relativa.
Por exemplo:
require(openssl) # for md5
require(data.table) # for the demo data
set.seed(1) # this won't help `sample`
population <- as.character(1e5:(1e6-1)) # some made up ID names
N <- 1e4 # sample size
sample1 <- data.table(id = sort(sample(population, N))) # randomly sample N ids
sample2 <- sample1[-sample(N, 1)] # randomly drop one observation from sample1
# samples are all but identical
sample1
sample2
nrow(merge(sample1, sample2))
[1] 9999
# row splitting yields very different test sets, even though we've set the seed
test <- sample(N-1, N/2, replace = F)
test1 <- sample1[test, .(id)]
test2 <- sample2[test, .(id)]
nrow(test1)
[1] 5000
nrow(merge(test1, test2))
[1] 2653
# to fix that, we can use some hash function to sample on the last digit
md5_bit_mod <- function(x, m = 2L) {
# Inputs:
# x: a character vector of ids
# m: the modulo divisor (modify for split proportions other than 50:50)
# Output: remainders from dividing the first digit of the md5 hash of x by m
as.integer(as.hexmode(substr(openssl::md5(x), 1, 1)) %% m)
}
# hash splitting preserves the similarity, because the assignment of test/train
# is determined by the hash of each obs., and not by its relative location in the data
# which may change
test1a <- sample1[md5_bit_mod(id) == 0L, .(id)]
test2a <- sample2[md5_bit_mod(id) == 0L, .(id)]
nrow(merge(test1a, test2a))
[1] 5057
nrow(test1a)
[1] 5057
O tamanho da amostra não é exatamente 5000, porque a atribuição é probabilística, mas não deve ser um problema em amostras grandes, graças à lei de grandes números.
Consulte também: http://blog.richardweiss.org/2016/12/25/hash-splits.html
e /crypto/20742/statistical-properties-of-hash-functions-when -calculating-module
x
pode ser o índice (linha / coluna, digamos) do seudata
.size
pode ser0.75*nrow(data)
. Tentesample(1:10, 4, replace = FALSE, prob = NULL)
ver o que faz.