Melhor maneira de propagar N geradores de números aleatórios independentes de 1 valor

10

No meu programa, eu preciso executar N threads separados, cada um com seu próprio RNG, que é usado para provar um grande conjunto de dados. Eu preciso ser capaz de propagar todo esse processo com um único valor para poder reproduzir resultados.

É suficiente simplesmente aumentar sequencialmente a semente para cada índice?

Atualmente eu uso numpyo RandomStateque usa um gerador de números pseudo-aleatórios Mersenne Twister.

Trecho de código abaixo:

# If a random number generator seed exists
if self.random_generator_seed:
    # Create a new random number generator for this instance based on its
    # own index
    self.random_generator_seed += instance_index
    self.random_number_generator = RandomState(self.random_generator_seed)

Basicamente, começo com uma semente inserida pelo usuário (se existir) e, para cada instância / thread, adiciono sequencialmente o índice (0 a N-1) da instância em execução. Não sei se isso é uma boa prática ou se existe uma maneira melhor de fazer isso.

— EricR
fonte

11

Você sabe com antecedência quantos valores pseudo-aleatórios cada segmento usará - ou pelo menos você pode obter uma boa estimativa do limite superior?

— whuber

Não, eu não posso. Ele mostra regiões que são somadas até que seja um limite. Os tamanhos das regiões podem variar significativamente.

— EricR 02/09

9

Não é uma boa prática, certamente. Por exemplo, considere o que acontece quando você executa duas execuções com sementes de raiz 12345 e 12346. Cada execução terá N-1fluxos em comum.

As implementações do Mersenne Twister (incluindo numpy.randome random) geralmente usam um PRNG diferente para expandir a semente inteira no vetor de estado grande (624 inteiros de 32 bits) que o MT usa; essa é a matriz de RandomState.get_state(). Uma boa maneira de fazer o que você quer é executar esse PRNG, semeado com o número inteiro de entrada uma vez e obter N*624números inteiros de 32 bits. Divida esse fluxo em Nvetores de estado e use RandomState.set_state()para inicializar explicitamente cada RandomStateinstância. Pode ser necessário consultar as fontes C numpy.randomou _randomda biblioteca padrão para obter o PRNG (elas são iguais). Não tenho certeza se alguém implementou uma versão autônoma desse PRNG para Python.

— Robert Kern
fonte

Acho que essa pode ser a melhor solução que ouvi até agora. Eu não acho que isso importe muito em como eu divido o fluxo, apesar de correto? Parece muito mais improvável ter uma sequência duplicada em números inteiros de 624 de 32 bits entre instâncias, independentemente de como elas são selecionadas no PRNG e na semente inicial.

— EricR 02/09

11

Na verdade, eu vou voltar um pouco. Não está claro para mim que o inicializador PRNG foi projetado para ter arbitrariamente muitos valores extraídos dele. Considere usar outro PRNG de qualidade (de preferência não relacionado ao MT) para gerar o fluxo de estado. Pode-se implementar um HMAC-DRBG (um PRNG usando um HMAC como primitivo criptográfico) usando apenas a biblioteca padrão de maneira relativamente direta. A segurança criptográfica não é uma preocupação; apenas a facilidade de implementação e a qualidade do fluxo de bits. Você precisará garantir que nenhum vetor totalmente zero seja criado, muito raramente.

— Robert Kern

Ou apenas use uma das RandomStateimplementações mais recentes no desenvolvimento que usa um algoritmo que possui fluxos configuráveis. Ou seja, você inicializa cada RandomStateinstância com a mesma semente e IDs de fluxo diferentes (apenas incrementado é bom) e tem fluxos independentes garantidos. pypi.python.org/pypi/randomstate

— Robert Kern

4

$\Phi(u)$ $u$ $N$

$\Phi(u),\Phi^N(u),\Phi^{2*N}(u),...$
$\Phi^2(u),\Phi^{1+N}(u),\Phi^{1+2*N}(u),...$
...
$\Phi^{N-1}(u),\Phi^{N-1+N}(u),\Phi^{N-1+2*N}(u),...$

$\Phi^n(u)=\Phi(\Phi^{n-1}(u))$

— Xi'an
fonte

2

Agora existe um pacote Python chamado RandomGen que possui métodos para conseguir isso.

Ele suporta fluxos independentes criados a partir de uma única semente, bem como um protocolo de salto para geradores de números aleatórios mais antigos, como o MT19937.

— Praveen
fonte

0

Algumas pessoas afirmam que existem correlações nos números aleatórios gerados por sementes seqüenciais. /programming/10900852/near-seeds-in-random-number-generation-may-give-similar-random-numbers Não sei ao certo se isso é verdade.

Se você está preocupado com isso, por que não usar um único gerador de números aleatórios para escolher as sementes para todos os outros geradores?

— Aaron
fonte

Simplesmente porque eu não quero ter nenhuma chance de gerar aleatoriamente a mesma semente para mais de um gerador. É claro que eu poderia fazer algum trabalho de programação para impedir que isso acontecesse, mas não sei como isso seria melhor do que colher sementes sequencialmente em primeiro lugar.

— EricR

11

Aparentemente , são possíveis correlações com sementes seqüenciais ... No entanto, como mostra o artigo vinculado nessa resposta do blog de John D Cook, usar um RNG para gerar sementes para outros geradores é muito pior, porque você encontra o problema do aniversário! Ele diz que gerar 1000 sementes não assinadas de 16 bits aleatoriamente tem 99,95% de chance de se sobrepor!

— Praveen