MANIFEST.in ignorado em “python setup.py install” - nenhum arquivo de dados instalado?

Este é o meu script setup.py simplificado com coisas que não são de código removidas:

#!/usr/bin/env python

from distutils.core import setup
from whyteboard.misc import meta


setup(
    name = 'Whyteboard',
    version = meta.version,

    packages = ['whyteboard', 'whyteboard.gui', 'whyteboard.lib', 'whyteboard.lib.pubsub',
                'whyteboard.lib.pubsub.core', 'whyteboard.lib.pubsub.utils', 'whyteboard.misc'],

    py_modules = ['whyteboard'],
    scripts = ['whyteboard.py'],
)

MANIFEST.in:

include *.txt
include whyteboard-help/*.*
recursive-include locale *.mo
recursive-include images *.png

Quando executo "python setup.py install sdist", recebo um bom .tar.gz com uma pasta raiz "whyteboard-0.41", com meu locale / images / e whyteboard-help / pastas dentro. Isso também contém meu script whyteboard.py que inicia meu programa de dentro do pacote fonte whyteboard.

Então:

whyteboard/
 ├── locale/
 ├── images
 ├── whyteboard-help/
 ├── whyteboard/
 │  ├── __init__.py
 │  └── other packages etc
 ├── whyteboard.py
 ├── README
 ├── setup.py
 └── CHANGELOG

Isso reflete a fonte do meu programa, é como tudo deveria ser e está correto.

No entanto, quando executo "python setup.py install", nenhum dos meus arquivos de dados é gravado - apenas o pacote fonte "whyteboard", e whyteboard.py é colocado em /usr/local/lib/python2.6/dist-packages/ .

Idealmente, eu gostaria que a mesma estrutura de diretório que foi gerada no arquivo .tar.gz fosse criada em dist-packages, pois é assim que meu programa espera procurar seus recursos.

Como posso obter "instalar" para criar essa estrutura de diretório? Parece estar ignorando meu arquivo de manifesto, pelo que posso dizer.

Algumas observações além da resposta de Ned (que atinge o problema central):

O Distutils não instala pacotes e módulos Python dentro de um subdiretório por projeto site-packages(ou dist-packagesno Debian / Ubuntu): eles são instalados diretamente site-packages, como você viu. Portanto, o whyteboard-xxdiretório que contém em seu sdist não existirá na forma final instalada.

Uma implicação disso é que você deve ter cuidado ao nomear o seu data_filesde uma forma que esclareça a qual projeto eles pertencem, porque esses arquivos / diretórios são instalados diretamente no site-packagesdiretório global , não dentro de qualquer whyteboarddiretório contido .

Ou você pode criar seus dados package_datado whyteboardpacote (o que significa que ele precisa estar dentro desse pacote, ou seja, próximo a __init__.py), e então isso não será um problema.

Por último, não faz muito sentido ter um whyteboard.pymódulo py_modulese um whyteboard/__init__.pypacote packages. Os dois são mutuamente exclusivos e, se você tiver os dois, o whyteboard.pymódulo será ignorado pelas importações em favor do pacote de mesmo nome.

Se whyteboard.pyfor apenas um script e não se destina a ser importado, você deve usar a opção de scripts para ele e removê-lo py_modules.

MANIFEST.indiz ao Distutils quais arquivos incluir na distribuição de origem, mas não afeta diretamente quais arquivos são instalados. Para isso, você precisa incluir os arquivos apropriados no setup.pyarquivo, geralmente como dados de pacote ou como arquivos adicionais .

Não consegui descobrir por que meu MANIFEST.inarquivo estava sendo ignorado quando corri python setup.py install- include_package_data=Trueresolveu o problema. A package_dataopção não é realmente necessária.

Executando o python 2.6.1 no Mac OSX, não tive absolutamente nenhuma sorte, exceto usando o data_files parâmetro em setup.py. Tudo com MANIFEST.in simplesmente resultou na inclusão de arquivos no pacote dist, mas nunca na instalação. Eu verifiquei alguns outros pacotes e eles estavam realmente usando data_files para especificar arquivos adicionais.

Eu criei uma função curta para ajudar a enumerar todos os arquivos de uma árvore de diretório no

(target_dir, [lista de arquivos]) formato que data_files espera:

def gen_data_files(*dirs):
    results = []

    for src_dir in dirs:
        for root,dirs,files in os.walk(src_dir):
            results.append((root, map(lambda f:root + "/" + f, files)))
    return results

Agora posso apenas chamar isso dentro da minha chamada de configuração:

setup(... data_files = gen_data_files("docs", "lib") ...

E tudo nessas árvores é instalado.

Você deve usar ferramentas de configuração:

#!/usr/bin/env python

from setuptools import setup, find_packages
from whyteboard.misc import meta


setup(
  name = 'Whyteboard',
  version = meta.version,

  packages = find_packages(),
  include_package_data=True,

  py_modules = ['whyteboard'],
  scripts = ['whyteboard.py'],
)

Na verdade, isso não está usando o arquivo MANIFEST para fazer o trabalho, mas inclui todos os arquivos necessários.

Exemplo de execução mínima publicado

• https://github.com/cirosantilli/python-sample-package-with-data
• https://pypi.org/project/python-sample-package-with-data

Conclusão importante: só MANIFEST.infuncionou para mim, package_datanão funcionou.

Testado no Ubuntu 19.10, Python 3.7.5, wheel == 0.32.3, setuptools == 41.1.0, twine == 3.1.1.

Como os usuários finais usam o pacote de https://pypi.org/project/python-sample-package-with-data/ :

python3 -m pip install --user python-sample-package-with-data
python-sample-package-with-data

Saída esperada:

hello data

Como os mantenedores o publicam:

# One time setup.
python3 -m pip install --user setuptools wheel twine

# Every time you want to publish.
python setup.py sdist bdist_wheel
twine upload dist/*
rm -rf build dist *.egg-info

Os arquivos reais:

MANIFEST.in

# Or else pip install cannot find README.md on the setup.py under certain conditions.
include README.md

# This actually adds the data file.
include python_sample_package_with_data/mydata.txt

python-sample-package-with-data

#!/usr/bin/env python3

import python_sample_package_with_data

print(python_sample_package_with_data.get_data(), end='')

python_sample_package_with_data / __ init__.py

try:
    import importlib.resources as importlib_resources
except ImportError:
    # In PY<3.7 fall-back to backported `importlib_resources`.
    import importlib_resources

def get_data():
    return importlib_resources.read_text(__name__, 'mydata.txt')

python_sample_package_with_data / mydata.txt

hello data

setup.py

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

from setuptools import setup, find_packages

from os import path
this_directory = path.abspath(path.dirname(__file__))
with open(path.join(this_directory, 'README.md')) as f:
    long_description = f.read()

setup(
    name='python-sample-package-with-data',
    version='0.0.3',
    description='My short description',
    long_description=long_description,
    long_description_content_type='text/markdown',
    url='https://github.com/cirosantilli/python-sample-package-with-data',
    author='Ciro Santilli',
    author_email='ciro.santilli.contact@gmail.com',
    packages=find_packages(),
    include_package_data=True,
    scripts=['python-sample-package-with-data'],
)

Bibliografia:

• Como faço para distribuir meu pacote pip com arquivos de dados corretamente?
• Python pkg_resources e acesso a arquivos em pacotes
• Encontrar um arquivo em uma distribuição de módulo Python
• Qualquer função Python para obter o diretório raiz "data_files"?
• Esclarecimento de MANIFEST.in, package_data e data_files?
• setup.py não instala arquivos de dados