Como se referir a caminhos relativos de recursos ao trabalhar com um repositório de código

Estamos trabalhando com um repositório de código implantado no Windows e Linux - às vezes em diretórios diferentes. Como um dos módulos dentro do projeto se refere a um dos recursos não-Python do projeto (arquivos CSV, etc.)?

Se fizermos algo como:

thefile=open('test.csv')

ou:

thefile=open('../somedirectory/test.csv')

Ele funcionará apenas quando o script for executado em um diretório específico ou em um subconjunto dos diretórios.

O que eu gostaria de fazer é algo como:

path=getBasePathOfProject()+'/somedirectory/test.csv'
thefile=open(path)

É possível?

Tente usar um nome de arquivo relativo ao caminho dos arquivos atuais. Exemplo para './my_file':

fn = os.path.join(os.path.dirname(__file__), 'my_file')

No Python 3.4 ou superior, você também pode usar o pathlib :

fn = pathlib.Path(__file__).parent / 'my_file'

Se você estiver usando ferramentas de configuração ou distribuir (uma instalação setup.py), a maneira "correta" de acessar esses recursos empacotados parece estar usando package_resources.

No seu caso, o exemplo seria

import pkg_resources
my_data = pkg_resources.resource_string(__name__, "foo.dat")

O que, é claro, lê o recurso e os dados binários lidos seriam o valor de my_data

Se você só precisa do nome do arquivo, também pode usar

resource_filename(package_or_requirement, resource_name)

Exemplo:

resource_filename("MyPackage","foo.dat")

A vantagem é que é garantido que funcione, mesmo que seja uma distribuição de arquivos como um ovo.

Consulte http://packages.python.org/distribute/pkg_resources.html#resourcemanager-api

No Python, os caminhos são relativos ao diretório de trabalho atual , que na maioria dos casos é o diretório no qual você executa seu programa. O diretório de trabalho atual provavelmente não é o mesmo que o diretório do arquivo de módulo, portanto, usar um caminho relativo ao arquivo de módulo atual é sempre uma má escolha.

Usar caminho absoluto deve ser a melhor solução:

import os
package_dir = os.path.dirname(os.path.abspath(__file__))
thefile = os.path.join(package_dir,'test.cvs')

Costumo usar algo semelhante a este:

import os
DATA_DIR = os.path.abspath(os.path.join(os.path.dirname(__file__), 'datadir'))

# if you have more paths to set, you might want to shorten this as
here = lambda x: os.path.abspath(os.path.join(os.path.dirname(__file__), x))
DATA_DIR = here('datadir') 

pathjoin = os.path.join
# ...
# later in script
for fn in os.listdir(DATA_DIR):
    f = open(pathjoin(DATA_DIR, fn))
    # ...

A variável

__file__

mantém o nome do arquivo do script no qual você escreve esse código, para que você possa criar caminhos em relação ao script, mas ainda gravados com caminhos absolutos. Funciona muito bem por vários motivos:

• caminho é absoluto, mas ainda relativo
• o projeto ainda pode ser implantado em um contêiner relativo

Mas você precisa observar a compatibilidade da plataforma - o os.pathsep do Windows é diferente do UNIX.

import os
cwd = os.getcwd()
path = os.path.join(cwd, "my_file")
f = open(path)

Você também tenta normalizar seu cwduso os.path.abspath(os.getcwd()). Mais informações aqui .

Você pode usar a compilação na __file__variável Ele contém o caminho do arquivo atual. Eu implementaria getBaseOfProject em um módulo na raiz do seu projeto. Lá eu pegaria o caminho __file__e o retornaria. Esse método pode ser usado em qualquer lugar do seu projeto.

Fiquei perplexo aqui um pouco. Queria empacotar alguns arquivos de recursos em um arquivo wheel e acessá-los. Fiz a embalagem usando o arquivo manifest, mas a instalação do pip não a instalava, a menos que fosse um subdiretório. Esperando que essas cenas ajudem

├── cnn_client
│   ├── image_preprocessor.py
│   ├── __init__.py
│   ├── resources
│   │   ├── mscoco_complete_label_map.pbtxt
│   │   ├── retinanet_complete_label_map.pbtxt
│   │   └── retinanet_label_map.py
│   ├── tf_client.py

MANIFEST.in

recursive-include cnn_client/resources *

Criou um weel usando o setup.py padrão. O pip instalou o arquivo da roda. Após a instalação, verifique se os recursos estão instalados. Eles são

ls /usr/local/lib/python2.7/dist-packages/cnn_client/resources

mscoco_complete_label_map.pbtxt
retinanet_complete_label_map.pbtxt 
 retinanet_label_map.py  

Em tfclient.py para acessar esses arquivos. de

templates_dir = os.path.join(os.path.dirname(__file__), 'resources')
 file_path = os.path.join(templates_dir, \
            'mscoco_complete_label_map.pbtxt')
        s = open(file_path, 'r').read()

E isso funciona.

Passei muito tempo tentando descobrir a resposta para isso, mas finalmente consegui (e é realmente muito simples):

import sys
import os
sys.path.append(os.getcwd() + '/your/subfolder/of/choice')

# now import whatever other modules you want, both the standard ones,
# as the ones supplied in your subfolders

Isso anexará o caminho relativo da sua subpasta aos diretórios para o python procurar. É bem rápido e sujo, mas funciona como um encanto :)