Cython: “erro fatal: numpy / arrayobject.h: esse arquivo ou diretório não existe”

Estou tentando acelerar a resposta aqui usando Cython. Eu tento compilar o código (depois de fazer o cygwinccompiler.pyhack explicado aqui ), mas recebo um fatal error: numpy/arrayobject.h: No such file or directory...compilation terminatederro. Alguém pode me dizer se é um problema com o meu código ou alguma sutileza esotérica com o Cython?

Abaixo está o meu código.

import numpy as np
import scipy as sp
cimport numpy as np
cimport cython

cdef inline np.ndarray[np.int, ndim=1] fbincount(np.ndarray[np.int_t, ndim=1] x):
    cdef int m = np.amax(x)+1
    cdef int n = x.size
    cdef unsigned int i
    cdef np.ndarray[np.int_t, ndim=1] c = np.zeros(m, dtype=np.int)

    for i in xrange(n):
        c[<unsigned int>x[i]] += 1

    return c

cdef packed struct Point:
    np.float64_t f0, f1

@cython.boundscheck(False)
def sparsemaker(np.ndarray[np.float_t, ndim=2] X not None,
                np.ndarray[np.float_t, ndim=2] Y not None,
                np.ndarray[np.float_t, ndim=2] Z not None):

    cdef np.ndarray[np.float64_t, ndim=1] counts, factor
    cdef np.ndarray[np.int_t, ndim=1] row, col, repeats
    cdef np.ndarray[Point] indices

    cdef int x_, y_

    _, row = np.unique(X, return_inverse=True); x_ = _.size
    _, col = np.unique(Y, return_inverse=True); y_ = _.size
    indices = np.rec.fromarrays([row,col])
    _, repeats = np.unique(indices, return_inverse=True)
    counts = 1. / fbincount(repeats)
    Z.flat *= counts.take(repeats)

    return sp.sparse.csr_matrix((Z.flat,(row,col)), shape=(x_, y_)).toarray()

No seu setup.py, o Extensiondeve ter o argumento include_dirs=[numpy.get_include()].

Além disso, você está ausente np.import_array()no seu código.

-

Exemplo setup.py:

from distutils.core import setup, Extension
from Cython.Build import cythonize
import numpy

setup(
    ext_modules=[
        Extension("my_module", ["my_module.c"],
                  include_dirs=[numpy.get_include()]),
    ],
)

# Or, if you use cythonize() to make the ext_modules list,
# include_dirs can be passed to setup()

setup(
    ext_modules=cythonize("my_module.pyx"),
    include_dirs=[numpy.get_include()]
)    

Para um projeto de um arquivo como o seu, outra alternativa é usar pyximport. Você não precisa criar um setup.py... nem precisa abrir uma linha de comando se usar o IPython ... é tudo muito conveniente. No seu caso, tente executar estes comandos no IPython ou em um script Python normal:

import numpy
import pyximport
pyximport.install(setup_args={"script_args":["--compiler=mingw32"],
                              "include_dirs":numpy.get_include()},
                  reload_support=True)

import my_pyx_module

print my_pyx_module.some_function(...)
...

Pode ser necessário editar o compilador, é claro. Isso faz com que a importação e a recarga funcionem da mesma forma para os .pyxarquivos, assim como para os .pyarquivos.

Fonte: http://wiki.cython.org/InstallingOnWindows

O erro significa que um arquivo de cabeçalho numpy não está sendo encontrado durante a compilação.

Tente fazer export CFLAGS=-I/usr/lib/python2.7/site-packages/numpy/core/include/e, em seguida, compilar. Este é um problema com alguns pacotes diferentes. Há um erro registrado no ArchLinux para o mesmo problema: https://bugs.archlinux.org/task/22326

Resposta simples

Uma maneira mais simples é adicionar o caminho ao seu arquivo distutils.cfg. O nome do caminho do Windows 7 é por padrão C:\Python27\Lib\distutils\. Você apenas afirma o seguinte conteúdo e deve funcionar:

[build_ext]
include_dirs= C:\Python27\Lib\site-packages\numpy\core\include

Arquivo de configuração inteiro

Para dar um exemplo de como o arquivo de configuração pode ser, meu arquivo inteiro diz:

[build]
compiler = mingw32

[build_ext]
include_dirs= C:\Python27\Lib\site-packages\numpy\core\include
compiler = mingw32

Deve ser capaz de fazê-lo dentro da cythonize()função, conforme mencionado aqui , mas não funciona porque há um problema conhecido

Se você estiver com preguiça de gravar arquivos de instalação e descobrir o caminho para os diretórios de inclusão, tente cyper . Ele pode compilar seu código Cython e configurar o include_dirsNumpy automaticamente.

Carregue seu código em uma string, execute simplesmente cymodule = cyper.inline(code_string)e sua função estará disponível cymodule.sparsemakerinstantaneamente. Algo assim

code = open(your_pyx_file).read()
cymodule = cyper.inline(code)

cymodule.sparsemaker(...)
# do what you want with your function

Você pode instalar o cyper via pip install cyper.