Como eu construo uma matriz numpy a partir de um gerador?

Como criar uma matriz numpy a partir de um objeto gerador?

Deixe-me ilustrar o problema:

>>> import numpy
>>> def gimme():
...   for x in xrange(10):
...     yield x
...
>>> gimme()
<generator object at 0x28a1758>
>>> list(gimme())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> numpy.array(xrange(10))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> numpy.array(gimme())
array(<generator object at 0x28a1758>, dtype=object)
>>> numpy.array(list(gimme()))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

Neste exemplo, gimme()é o gerador cuja saída eu gostaria de transformar em uma matriz. No entanto, o construtor do array não interage com o gerador, simplesmente armazena o próprio gerador. O comportamento que desejo é o denumpy.array(list(gimme())) , mas não quero gastar a memória de ter a lista intermediária e a matriz final na memória ao mesmo tempo. Existe uma maneira mais eficiente em termos de espaço?

Arrays numpy exigem que seu comprimento seja definido explicitamente no momento da criação, ao contrário das listas python. Isso é necessário para que o espaço para cada item possa ser alocado consecutivamente na memória. A alocação consecutiva é o principal recurso de matrizes numpy: isso combinado à implementação de código nativo permite que as operações nelas executem muito mais rapidamente do que as listas regulares.

Tendo isso em mente, é tecnicamente impossível pegar um objeto gerador e transformá-lo em uma matriz, a menos que você:

1. pode prever quantos elementos ele produzirá quando executado:

   my_array = numpy.empty(predict_length())
   for i, el in enumerate(gimme()): my_array[i] = el

2. estão dispostos a armazenar seus elementos em uma lista intermediária:

   my_array = numpy.array(list(gimme()))

3. pode criar dois geradores idênticos, percorrer o primeiro para encontrar o comprimento total, inicializar a matriz e, em seguida, percorrer o gerador novamente para encontrar cada elemento:

   length = sum(1 for el in gimme())
   my_array = numpy.empty(length)
   for i, el in enumerate(gimme()): my_array[i] = el

1 é provavelmente o que você está procurando. 2 é ineficiente em espaço e 3 é ineficiente em tempo (você precisa passar pelo gerador duas vezes).

Um google por trás desse resultado de stackoverflow, descobri que existe um numpy.fromiter(data, dtype, count). O padrão count=-1pega todos os elementos do iterável. Requer que um dtypeseja definido explicitamente. No meu caso, isso funcionou:

numpy.fromiter(something.generate(from_this_input), float)

Enquanto você pode criar uma matriz 1D a partir de um gerador com numpy.fromiter(), você pode criar uma matriz ND a partir de um gerador com numpy.stack:

>>> mygen = (np.ones((5, 3)) for _ in range(10))
>>> x = numpy.stack(mygen)
>>> x.shape
(10, 5, 3)

Também funciona para matrizes 1D:

>>> numpy.stack(2*i for i in range(10))
array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

Observe que numpy.stackestá consumindo internamente o gerador e criando uma lista intermediária com arrays = [asanyarray(arr) for arr in arrays]. A implementação pode ser encontrada aqui .

Um pouco tangencial, mas se o seu gerador é uma lista de compreensão, você pode usar numpy.wherepara obter o resultado com mais eficiência (eu descobri isso no meu próprio código depois de ver este post)

As funções vstack , hstack e dstack podem assumir como geradores de entrada que produzem matrizes multidimensionais.