Listar todos os módulos que fazem parte de um pacote python?

Existe uma maneira direta de encontrar todos os módulos que fazem parte de um pacote python? Eu encontrei essa discussão antiga , que não é realmente conclusiva, mas adoraria ter uma resposta definitiva antes de lançar minha própria solução com base em os.listdir ().

Sim, você quer algo baseado em pkgutilou semelhante - desta forma, você pode tratar todos os pacotes da mesma forma, independentemente se eles estão em ovos ou zips ou algo assim (onde os.listdir não ajudará).

import pkgutil

# this is the package we are inspecting -- for example 'email' from stdlib
import email

package = email
for importer, modname, ispkg in pkgutil.iter_modules(package.__path__):
    print "Found submodule %s (is a package: %s)" % (modname, ispkg)

Como importá-los também? Você pode usar __import__normalmente:

import pkgutil

# this is the package we are inspecting -- for example 'email' from stdlib
import email

package = email
prefix = package.__name__ + "."
for importer, modname, ispkg in pkgutil.iter_modules(package.__path__, prefix):
    print "Found submodule %s (is a package: %s)" % (modname, ispkg)
    module = __import__(modname, fromlist="dummy")
    print "Imported", module

A ferramenta certa para esse trabalho é pkgutil.walk_packages.

Para listar todos os módulos em seu sistema:

import pkgutil
for importer, modname, ispkg in pkgutil.walk_packages(path=None, onerror=lambda x: None):
    print(modname)

Esteja ciente de que walk_packages importa todos os subpacotes, mas não os submódulos.

Se você deseja listar todos os submódulos de um determinado pacote, você pode usar algo assim:

import pkgutil
import scipy
package=scipy
for importer, modname, ispkg in pkgutil.walk_packages(path=package.__path__,
                                                      prefix=package.__name__+'.',
                                                      onerror=lambda x: None):
    print(modname)

iter_modules lista apenas os módulos que têm um nível de profundidade. walk_packages obtém todos os submódulos. No caso de scipy, por exemplo, walk_packages retorna

scipy.stats.stats

enquanto iter_modules só retorna

scipy.stats

A documentação do pkgutil ( http://docs.python.org/library/pkgutil.html ) não lista todas as funções interessantes definidas em /usr/lib/python2.6/pkgutil.py.

Talvez isso signifique que as funções não fazem parte da interface "pública" e estão sujeitas a alterações.

No entanto, pelo menos a partir do Python 2.6 (e talvez nas versões anteriores?), O pkgutil vem com um método walk_packages que percorre recursivamente todos os módulos disponíveis.

Isso funciona para mim:

import types

for key, obj in nltk.__dict__.iteritems():
    if type(obj) is types.ModuleType: 
        print key

Eu estava procurando uma maneira de recarregar todos os submódulos que estou editando ao vivo em meu pacote. É uma combinação das respostas / comentários acima, então decidi postar aqui como uma resposta ao invés de um comentário.

package=yourPackageName
import importlib
import pkgutil
for importer, modname, ispkg in pkgutil.walk_packages(path=package.__path__, prefix=package.__name__+'.', onerror=lambda x: None):
    try:
        modulesource = importlib.import_module(modname)
        reload(modulesource)
        print("reloaded: {}".format(modname))
    except Exception as e:
        print('Could not load {} {}'.format(modname, e))

Aqui está uma maneira, de início:

>>> import os
>>> filter(lambda i: type(i) == type(os), [getattr(os, j) for j in dir(os)])
[<module 'UserDict' from '/usr/lib/python2.5/UserDict.pyc'>, <module 'copy_reg' from '/usr/lib/python2.5/copy_reg.pyc'>, <module 'errno' (built-in)>, <module 'posixpath' from '/usr/lib/python2.5/posixpath.pyc'>, <module 'sys' (built-in)>]

Certamente poderia ser limpo e melhorado.

EDIT: Aqui está uma versão um pouco melhor:

>>> [m[1] for m in filter(lambda a: type(a[1]) == type(os), os.__dict__.items())]
[<module 'copy_reg' from '/usr/lib/python2.5/copy_reg.pyc'>, <module 'UserDict' from '/usr/lib/python2.5/UserDict.pyc'>, <module 'posixpath' from '/usr/lib/python2.5/posixpath.pyc'>, <module 'errno' (built-in)>, <module 'sys' (built-in)>]
>>> [m[0] for m in filter(lambda a: type(a[1]) == type(os), os.__dict__.items())]
['_copy_reg', 'UserDict', 'path', 'errno', 'sys']

NOTA: Isso também encontrará módulos que podem não estar necessariamente localizados em um subdiretório do pacote, se eles forem puxados em seu __init__.pyarquivo, portanto, depende do que você entende por "parte de" um pacote.