Recarregando submódulos no IPython

Atualmente, estou trabalhando em um projeto python que contém submódulos e usa numpy / scipy. O Ipython é usado como console interativo. Infelizmente, não estou muito satisfeito com o fluxo de trabalho que estou usando agora, gostaria de receber alguns conselhos.

No IPython, a estrutura é carregada por um importcomando simples . No entanto, geralmente é necessário alterar o código em um dos submódulos da estrutura. Neste ponto, um modelo já está carregado e eu uso o IPython para interagir com ele.

Agora, a estrutura contém muitos módulos que dependem uma da outra, ou seja, quando a estrutura é carregada inicialmente, o módulo principal está importando e configurando os submódulos. As alterações no código são executadas apenas se o módulo for recarregado usando reload(main_mod.sub_mod). Isso é complicado, pois preciso recarregar todos os módulos alterados individualmente, usando o caminho completo. Seria muito conveniente se reload(main_module)também recarregasse todos os submódulos, mas sem recarregar numpy / scipy ..

O IPython vem com alguma mágica de recarga automática :

%load_ext autoreload
%autoreload 2

Ele recarregará todos os módulos alterados todas as vezes antes de executar uma nova linha. A maneira como isso funciona é um pouco diferente dreload. Algumas advertências se aplicam, digite %autoreload?para ver o que pode dar errado.

Se você deseja sempre ativar essas configurações, modifique seu arquivo de configuração IPython ~/.ipython/profile_default/ipython_config.py[1] e adicione:

c.InteractiveShellApp.extensions = ['autoreload']     
c.InteractiveShellApp.exec_lines = ['%autoreload 2']

Crédito para @Kos através de um comentário abaixo.

[1] Se você não possui o arquivo ~/.ipython/profile_default/ipython_config.py, precisa ligar ipython profile createprimeiro. Ou o arquivo pode estar localizado em $IPYTHONDIR.

No IPython 0.12 (e possivelmente anterior), você pode usar isto:

%load_ext autoreload
%autoreload 2

Isto é essencialmente o mesmo que a resposta por pv. , exceto que a extensão foi renomeada e agora é carregada usando %load_ext.

Por algum motivo, %autoreloadnem dreloadparece funcionar para a situação quando você importa código de um notebook para outro . Somente o Python simples reloadfunciona:

reload(module)

Baseado em [1] .

O IPython oferece dreload()recarregar recursivamente todos os submódulos. Pessoalmente, prefiro usar o %run()comando mágico (embora ele não execute uma recarga profunda, como apontado por John Salvatier nos comentários).

Módulo denominado importlibpermitir acessar para importar internals. Especialmente, fornece a função importlib.reload():

import importlib
importlib.reload(my_module)

Ao contrário %autoreload, importlib.reload()também redefina as variáveis ​​globais definidas no módulo. Na maioria dos casos, é o que você deseja.

importlibestá disponível apenas desde o Python 3.1. Para a versão mais antiga, você tem que usar o módulo imp.

http://shawnleezx.github.io/blog/2015/08/03/some-notes-on-ipython-startup-script/

Para evitar digitar essas funções mágicas repetidamente, elas podem ser colocadas no script de inicialização do ipython (nomeie-o com o sufixo .py em .ipython / profile_default / startup. Todos os scripts python nessa pasta serão carregados de acordo com a ordem lexical), que se parece com o seguinte:

from IPython import get_ipython
ipython = get_ipython()

ipython.magic("pylab")
ipython.magic("load_ext autoreload")
ipython.magic("autoreload 2")

Que tal agora:

import inspect

# needs to be primed with an empty set for loaded
def recursively_reload_all_submodules(module, loaded=None):
    for name in dir(module):
        member = getattr(module, name)
        if inspect.ismodule(member) and member not in loaded:
            recursively_reload_all_submodules(member, loaded)
    loaded.add(module)
    reload(module)

import mymodule
recursively_reload_all_submodules(mymodule, set())

Isso deve recarregar efetivamente toda a árvore de módulos e submódulos fornecidos. Você também pode colocar essa função no seu .ipythonrc (eu acho) para que ela seja carregada toda vez que você iniciar o intérprete.

Outra opção:

$ cat << EOF > ~/.ipython/profile_default/startup/50-autoreload.ipy
%load_ext autoreload
%autoreload 2
EOF

Verificado no ipython e ipython3 v5.1.0 no Ubuntu 14.04.

Minha prática padrão para recarregar é combinar os dois métodos após a primeira abertura de IPython:

from IPython.lib.deepreload import reload
%load_ext autoreload
%autoreload 2

Carregar módulos antes de fazer isso fará com que eles não sejam recarregados, mesmo com um manual reload(module_name). Eu ainda, muito raramente, tenho problemas inexplicáveis ​​com métodos de classe que não são recarregados que ainda não examinei.

Observe que o mencionado acima autoreloadsó funciona no IntelliJ se você salvar manualmente o arquivo alterado (por exemplo, usando ctrl + s ou cmd + s). Parece não funcionar com o salvamento automático.

Nos cadernos Jupyter no Anaconda, faça o seguinte:

%load_ext autoreload
%autoreload 2

produziu a mensagem:

A extensão de carregamento automático já está carregada. Para recarregá-lo, use: %reload_ext autoreload

Parece que é preferível fazer:

%reload_ext autoreload
%autoreload 2

Versão informação:

A versão do servidor de notebook é 5.0.0 e está em execução no: Python 3.6.2 | Anaconda, Inc. | (padrão, 20 de setembro de 2017, 13:35:58) [MSC v.1900 32 bits (Intel)]

Quaisquer subobjetos não serão recarregados por isso, acredito que você precise usar o deepreload do IPython para isso.