Conversão de tipo no local de uma matriz NumPy

Dada uma matriz NumPy de int32, como eu a converto float32 no local ? Então, basicamente, eu gostaria de fazer

a = a.astype(numpy.float32)

sem copiar a matriz. É grande.

A razão para fazer isso é que eu tenho dois algoritmos para o cálculo de a. Um deles retorna uma matriz de int32, o outro retorna uma matriz de float32(e isso é inerente aos dois algoritmos diferentes). Todos os cálculos adicionais assumem que aé uma matriz de float32.

Atualmente eu faço a conversão em uma função C chamada via ctypes. Existe uma maneira de fazer isso em Python?

Você pode fazer uma exibição com um tipo diferente e copiar no local para a exibição:

import numpy as np
x = np.arange(10, dtype='int32')
y = x.view('float32')
y[:] = x

print(y)

rendimentos

array([ 0.,  1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.,  9.], dtype=float32)

Para mostrar que a conversão ocorreu, observe que copiar de x para yalterado x:

print(x)

impressões

array([         0, 1065353216, 1073741824, 1077936128, 1082130432,
       1084227584, 1086324736, 1088421888, 1090519040, 1091567616])

Atualização: Esta função evita a cópia apenas se puder, portanto, essa não é a resposta correta para esta pergunta. a resposta de unutbu é a certa.

a = a.astype(numpy.float32, copy=False)

numpy astype tem um sinalizador de cópia. Por que não devemos usá-lo?

Você pode alterar o tipo de matriz sem converter da seguinte maneira:

a.dtype = numpy.float32

mas primeiro você precisa alterar todos os números inteiros para algo que será interpretado como a flutuação correspondente. Uma maneira muito lenta de fazer isso seria usar o structmódulo python como este:

def toi(i):
    return struct.unpack('i',struct.pack('f',float(i)))[0]

... aplicado a cada membro da sua matriz.

Mas talvez uma maneira mais rápida seria utilizar as ferramentas ctypeslib de numpy (com as quais não estou familiarizado)

- editar -

Como o ctypeslib parece não funcionar, eu prosseguiria com a conversão com o numpy.astypemétodo típico , mas prosseguiria em tamanhos de bloco dentro dos limites da sua memória:

a[0:10000] = a[0:10000].astype('float32').view('int32')

... altere o dtype quando terminar.

Aqui está uma função que realiza a tarefa para qualquer tipo compatível (que funciona apenas para tipos com itens do mesmo tamanho) e lida com matrizes de forma arbitrária com controle do usuário sobre o tamanho do bloco:

import numpy

def astype_inplace(a, dtype, blocksize=10000):
    oldtype = a.dtype
    newtype = numpy.dtype(dtype)
    assert oldtype.itemsize is newtype.itemsize
    for idx in xrange(0, a.size, blocksize):
        a.flat[idx:idx + blocksize] = \
            a.flat[idx:idx + blocksize].astype(newtype).view(oldtype)
    a.dtype = newtype

a = numpy.random.randint(100,size=100).reshape((10,10))
print a
astype_inplace(a, 'float32')
print a

import numpy as np
arr_float = np.arange(10, dtype=np.float32)
arr_int = arr_float.view(np.float32)

use view () e o parâmetro 'dtype' para alterar a matriz no lugar.

Usa isto:

In [105]: a
Out[105]: 
array([[15, 30, 88, 31, 33],
       [53, 38, 54, 47, 56],
       [67,  2, 74, 10, 16],
       [86, 33, 15, 51, 32],
       [32, 47, 76, 15, 81]], dtype=int32)

In [106]: float32(a)
Out[106]: 
array([[ 15.,  30.,  88.,  31.,  33.],
       [ 53.,  38.,  54.,  47.,  56.],
       [ 67.,   2.,  74.,  10.,  16.],
       [ 86.,  33.,  15.,  51.,  32.],
       [ 32.,  47.,  76.,  15.,  81.]], dtype=float32)

a = np.subtract(a, 0., dtype=np.float32)