Estou chamando uma função em Python que sei que pode parar e me forçar a reiniciar o script.

Como chamo a função ou em que a envolvo para que, se demorar mais de 5 segundos, o script a cancele e faça outra coisa?

Você pode usar o pacote de sinal se estiver executando no UNIX:

In [1]: import signal

# Register an handler for the timeout
In [2]: def handler(signum, frame):
   ...:     print("Forever is over!")
   ...:     raise Exception("end of time")
   ...: 

# This function *may* run for an indetermined time...
In [3]: def loop_forever():
   ...:     import time
   ...:     while 1:
   ...:         print("sec")
   ...:         time.sleep(1)
   ...:         
   ...:         

# Register the signal function handler
In [4]: signal.signal(signal.SIGALRM, handler)
Out[4]: 0

# Define a timeout for your function
In [5]: signal.alarm(10)
Out[5]: 0

In [6]: try:
   ...:     loop_forever()
   ...: except Exception, exc: 
   ...:     print(exc)
   ....: 
sec
sec
sec
sec
sec
sec
sec
sec
Forever is over!
end of time

# Cancel the timer if the function returned before timeout
# (ok, mine won't but yours maybe will :)
In [7]: signal.alarm(0)
Out[7]: 0

10 segundos após a chamada alarm.alarm(10), o manipulador é chamado. Isso gera uma exceção que você pode interceptar a partir do código Python comum.

Este módulo não funciona bem com threads (mas quem é?)

Observe que, como criamos uma exceção quando o tempo limite ocorre, ele pode ser capturado e ignorado dentro da função, por exemplo, em uma dessas funções:

def loop_forever():
    while 1:
        print('sec')
        try:
            time.sleep(10)
        except:
            continue

Você pode usar multiprocessing.Processpara fazer exatamente isso.

Código

import multiprocessing
import time

# bar
def bar():
    for i in range(100):
        print "Tick"
        time.sleep(1)

if __name__ == '__main__':
    # Start bar as a process
    p = multiprocessing.Process(target=bar)
    p.start()

    # Wait for 10 seconds or until process finishes
    p.join(10)

    # If thread is still active
    if p.is_alive():
        print "running... let's kill it..."

        # Terminate
        p.terminate()
        p.join()

Como chamo a função ou em que a envolvo para que, se demorar mais de 5 segundos, o script a cancele?

Eu publiquei uma essência que resolve esta questão / problema com um decorador e um threading.Timer. Aqui está com um colapso.

Importações e configurações para compatibilidade

Foi testado com Python 2 e 3. Também deve funcionar em Unix / Linux e Windows.

Primeiro as importações. Eles tentam manter o código consistente, independentemente da versão do Python:

from __future__ import print_function
import sys
import threading
from time import sleep
try:
    import thread
except ImportError:
    import _thread as thread

Use código independente da versão:

try:
    range, _print = xrange, print
    def print(*args, **kwargs): 
        flush = kwargs.pop('flush', False)
        _print(*args, **kwargs)
        if flush:
            kwargs.get('file', sys.stdout).flush()            
except NameError:
    pass

Agora importamos nossa funcionalidade da biblioteca padrão.

exit_after decorador

Em seguida, precisamos de uma função para finalizar a main()partir do thread filho:

def quit_function(fn_name):
    # print to stderr, unbuffered in Python 2.
    print('{0} took too long'.format(fn_name), file=sys.stderr)
    sys.stderr.flush() # Python 3 stderr is likely buffered.
    thread.interrupt_main() # raises KeyboardInterrupt

E aqui está o próprio decorador:

def exit_after(s):
    '''
    use as decorator to exit process if 
    function takes longer than s seconds
    '''
    def outer(fn):
        def inner(*args, **kwargs):
            timer = threading.Timer(s, quit_function, args=[fn.__name__])
            timer.start()
            try:
                result = fn(*args, **kwargs)
            finally:
                timer.cancel()
            return result
        return inner
    return outer

Uso

E aqui está o uso que responde diretamente à sua pergunta sobre como sair após 5 segundos !:

@exit_after(5)
def countdown(n):
    print('countdown started', flush=True)
    for i in range(n, -1, -1):
        print(i, end=', ', flush=True)
        sleep(1)
    print('countdown finished')

Demo:

>>> countdown(3)
countdown started
3, 2, 1, 0, countdown finished
>>> countdown(10)
countdown started
10, 9, 8, 7, 6, countdown took too long
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 11, in inner
  File "<stdin>", line 6, in countdown
KeyboardInterrupt

A segunda chamada de função não será concluída. Em vez disso, o processo deve sair com um retorno!

KeyboardInterrupt nem sempre para um fio adormecido

Observe que o sono nem sempre será interrompido por uma interrupção do teclado, no Python 2 no Windows, por exemplo:

@exit_after(1)
def sleep10():
    sleep(10)
    print('slept 10 seconds')

>>> sleep10()
sleep10 took too long         # Note that it hangs here about 9 more seconds
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 11, in inner
  File "<stdin>", line 3, in sleep10
KeyboardInterrupt

nem é provável que interrompa o código em execução nas extensões, a menos que verifique explicitamente PyErr_CheckSignals(), consulte Cython, Python e KeyboardInterrupt ignorados

Eu evitaria dormir um fio por mais de um segundo, em qualquer caso - é uma eternidade no tempo do processador.

Como chamo a função ou em que a envolvo para que, se demorar mais de 5 segundos, o script a cancele e faça outra coisa?

Para capturá-lo e fazer outra coisa, você pode capturar o KeyboardInterrupt.

>>> try:
...     countdown(10)
... except KeyboardInterrupt:
...     print('do something else')
... 
countdown started
10, 9, 8, 7, 6, countdown took too long
do something else

Eu tenho uma proposta diferente, que é uma função pura (com a mesma API da sugestão de encadeamento) e parece funcionar bem (com base nas sugestões deste tópico)

def timeout(func, args=(), kwargs={}, timeout_duration=1, default=None):
    import signal

    class TimeoutError(Exception):
        pass

    def handler(signum, frame):
        raise TimeoutError()

    # set the timeout handler
    signal.signal(signal.SIGALRM, handler) 
    signal.alarm(timeout_duration)
    try:
        result = func(*args, **kwargs)
    except TimeoutError as exc:
        result = default
    finally:
        signal.alarm(0)

    return result

Passei por esse segmento ao procurar uma chamada de tempo limite em testes de unidade. Não encontrei nada simples nas respostas ou nos pacotes de terceiros; por isso, escrevi o decorador abaixo. Você pode entrar no código:

import multiprocessing.pool
import functools

def timeout(max_timeout):
    """Timeout decorator, parameter in seconds."""
    def timeout_decorator(item):
        """Wrap the original function."""
        @functools.wraps(item)
        def func_wrapper(*args, **kwargs):
            """Closure for function."""
            pool = multiprocessing.pool.ThreadPool(processes=1)
            async_result = pool.apply_async(item, args, kwargs)
            # raises a TimeoutError if execution exceeds max_timeout
            return async_result.get(max_timeout)
        return func_wrapper
    return timeout_decorator

Então, é tão simples como esgotar o tempo limite de um teste ou qualquer função que você desejar:

@timeout(5.0)  # if execution takes longer than 5 seconds, raise a TimeoutError
def test_base_regression(self):
    ...

O stopitpacote, encontrado no pypi, parece lidar bem com os tempos limite.

Eu gosto do @stopit.threading_timeoutabledecorador, que adiciona um timeoutparâmetro à função decorada, que faz o que você espera, para a função.

Confira no pypi: https://pypi.python.org/pypi/stopit

Existem muitas sugestões, mas nenhuma usa concurrent.futures, que eu acho que é a maneira mais legível de lidar com isso.

from concurrent.futures import ProcessPoolExecutor

# Warning: this does not terminate function if timeout
def timeout_five(fnc, *args, **kwargs):
    with ProcessPoolExecutor() as p:
        f = p.submit(fnc, *args, **kwargs)
        return f.result(timeout=5)

Super simples de ler e manter.

Fazemos um pool, enviamos um único processo e esperamos até 5 segundos antes de gerar um TimeoutError que você pode capturar e manipular da maneira que precisar.

Nativo para python 3.2+ e portado para 2.7 (futuros de instalação do pip).

A alternância entre fios e processos é tão simples como a substituição ProcessPoolExecutorcom ThreadPoolExecutor.

Se você deseja encerrar o processo com o tempo limite, sugiro pesquisar no Pebble .

Excelente, fácil de usar e confiável projeto de timeout do PyPi ( https://pypi.org/project/timeout-decorator/ )

instalação :

pip install timeout-decorator

Uso :

import time
import timeout_decorator

@timeout_decorator.timeout(5)
def mytest():
    print "Start"
    for i in range(1,10):
        time.sleep(1)
        print "%d seconds have passed" % i

if __name__ == '__main__':
    mytest()

Eu sou o autor de wrapt_timeout_decorator

A maioria das soluções apresentadas aqui funciona de maneira soberba no Linux à primeira vista - porque temos fork () e sinais () -, mas no Windows as coisas parecem um pouco diferentes. E quando se trata de sub-threads no Linux, você não pode mais usar sinais.

Para gerar um processo no Windows, ele precisa ser selecionável - e muitas funções decoradas ou métodos de classe não são.

Portanto, você precisa usar um seletor melhor, como endro e multiprocesso (não pickle e multiprocessamento) - é por isso que você não pode usar ProcessPoolExecutor (ou apenas com funcionalidade limitada).

Para o tempo limite em si - Você precisa definir o que o tempo limite significa - porque no Windows levará um tempo considerável (e não determinável) para gerar o processo. Isso pode ser complicado em tempos curtos. Vamos supor, a geração do processo leva cerca de 0,5 segundos (facilmente !!!). Se você der um tempo limite de 0,2 segundos, o que deve acontecer? A função deve expirar após 0,5 + 0,2 segundos (deixe o método funcionar por 0,2 segundos)? Ou o processo chamado expirará após 0,2 segundos (nesse caso, a função decorada SEMPRE excederá o tempo limite, porque nesse momento nem sequer é gerada)?

Os decoradores aninhados também podem ser desagradáveis ​​e você não pode usar sinais em um sub-rosca. Se você deseja criar um decorador de plataforma cruzada verdadeiramente universal, tudo isso precisa ser levado em consideração (e testado).

Outros problemas estão passando exceções de volta para o chamador, bem como problemas de logon (se usado na função decorada - o log de arquivos em outro processo NÃO é suportado)

Tentei cobrir todos os casos extremos. Você pode examinar o pacote wrapt_timeout_decorator ou, pelo menos, testar suas próprias soluções inspiradas nos unittests usados ​​lá.

@ Alexis Eggermont - infelizmente não tenho pontos suficientes para comentar - talvez alguém possa notificá-lo - acho que resolvi seu problema de importação.

timeout-decoratornão funciona no sistema windows, pois o windows não suportava signalbem.

Se você usar o decorador de tempo limite no sistema Windows, obterá o seguinte

AttributeError: module 'signal' has no attribute 'SIGALRM'

Alguns sugeriram usar, use_signals=Falsemas não funcionaram para mim.

O autor @bitranox criou o seguinte pacote:

pip install https://github.com/bitranox/wrapt-timeout-decorator/archive/master.zip

Exemplo de código:

import time
from wrapt_timeout_decorator import *

@timeout(5)
def mytest(message):
    print(message)
    for i in range(1,10):
        time.sleep(1)
        print('{} seconds have passed'.format(i))

def main():
    mytest('starting')


if __name__ == '__main__':
    main()

Dá a seguinte exceção:

TimeoutError: Function mytest timed out after 5 seconds

Podemos usar sinais para o mesmo. Eu acho que o exemplo abaixo será útil para você. É muito simples comparado aos threads.

import signal

def timeout(signum, frame):
    raise myException

#this is an infinite loop, never ending under normal circumstances
def main():
    print 'Starting Main ',
    while 1:
        print 'in main ',

#SIGALRM is only usable on a unix platform
signal.signal(signal.SIGALRM, timeout)

#change 5 to however many seconds you need
signal.alarm(5)

try:
    main()
except myException:
    print "whoops"

#!/usr/bin/python2
import sys, subprocess, threading
proc = subprocess.Popen(sys.argv[2:])
timer = threading.Timer(float(sys.argv[1]), proc.terminate)
timer.start()
proc.wait()
timer.cancel()
exit(proc.returncode)

Eu tinha uma necessidade de nestable interrupções programadas (que SIGALARM não pode fazer) que não vai ficar bloqueado por time.sleep (que a abordagem baseada em threads não pode fazer). Acabei copiando e modificando levemente o código a partir daqui: http://code.activestate.com/recipes/577600-queue-for-managing-multiple-sigalrm-alarms-concurr/

O próprio código:

#!/usr/bin/python

# lightly modified version of http://code.activestate.com/recipes/577600-queue-for-managing-multiple-sigalrm-alarms-concurr/


"""alarm.py: Permits multiple SIGALRM events to be queued.

Uses a `heapq` to store the objects to be called when an alarm signal is
raised, so that the next alarm is always at the top of the heap.
"""

import heapq
import signal
from time import time

__version__ = '$Revision: 2539 $'.split()[1]

alarmlist = []

__new_alarm = lambda t, f, a, k: (t + time(), f, a, k)
__next_alarm = lambda: int(round(alarmlist[0][0] - time())) if alarmlist else None
__set_alarm = lambda: signal.alarm(max(__next_alarm(), 1))


class TimeoutError(Exception):
    def __init__(self, message, id_=None):
        self.message = message
        self.id_ = id_


class Timeout:
    ''' id_ allows for nested timeouts. '''
    def __init__(self, id_=None, seconds=1, error_message='Timeout'):
        self.seconds = seconds
        self.error_message = error_message
        self.id_ = id_
    def handle_timeout(self):
        raise TimeoutError(self.error_message, self.id_)
    def __enter__(self):
        self.this_alarm = alarm(self.seconds, self.handle_timeout)
    def __exit__(self, type, value, traceback):
        try:
            cancel(self.this_alarm) 
        except ValueError:
            pass


def __clear_alarm():
    """Clear an existing alarm.

    If the alarm signal was set to a callable other than our own, queue the
    previous alarm settings.
    """
    oldsec = signal.alarm(0)
    oldfunc = signal.signal(signal.SIGALRM, __alarm_handler)
    if oldsec > 0 and oldfunc != __alarm_handler:
        heapq.heappush(alarmlist, (__new_alarm(oldsec, oldfunc, [], {})))


def __alarm_handler(*zargs):
    """Handle an alarm by calling any due heap entries and resetting the alarm.

    Note that multiple heap entries might get called, especially if calling an
    entry takes a lot of time.
    """
    try:
        nextt = __next_alarm()
        while nextt is not None and nextt <= 0:
            (tm, func, args, keys) = heapq.heappop(alarmlist)
            func(*args, **keys)
            nextt = __next_alarm()
    finally:
        if alarmlist: __set_alarm()


def alarm(sec, func, *args, **keys):
    """Set an alarm.

    When the alarm is raised in `sec` seconds, the handler will call `func`,
    passing `args` and `keys`. Return the heap entry (which is just a big
    tuple), so that it can be cancelled by calling `cancel()`.
    """
    __clear_alarm()
    try:
        newalarm = __new_alarm(sec, func, args, keys)
        heapq.heappush(alarmlist, newalarm)
        return newalarm
    finally:
        __set_alarm()


def cancel(alarm):
    """Cancel an alarm by passing the heap entry returned by `alarm()`.

    It is an error to try to cancel an alarm which has already occurred.
    """
    __clear_alarm()
    try:
        alarmlist.remove(alarm)
        heapq.heapify(alarmlist)
    finally:
        if alarmlist: __set_alarm()

e um exemplo de uso:

import alarm
from time import sleep

try:
    with alarm.Timeout(id_='a', seconds=5):
        try:
            with alarm.Timeout(id_='b', seconds=2):
                sleep(3)
        except alarm.TimeoutError as e:
            print 'raised', e.id_
        sleep(30)
except alarm.TimeoutError as e:
    print 'raised', e.id_
else:
    print 'nope.'

Aqui está uma pequena melhoria na solução baseada em encadeamento fornecida.

O código abaixo suporta exceções :

def runFunctionCatchExceptions(func, *args, **kwargs):
    try:
        result = func(*args, **kwargs)
    except Exception, message:
        return ["exception", message]

    return ["RESULT", result]


def runFunctionWithTimeout(func, args=(), kwargs={}, timeout_duration=10, default=None):
    import threading
    class InterruptableThread(threading.Thread):
        def __init__(self):
            threading.Thread.__init__(self)
            self.result = default
        def run(self):
            self.result = runFunctionCatchExceptions(func, *args, **kwargs)
    it = InterruptableThread()
    it.start()
    it.join(timeout_duration)
    if it.isAlive():
        return default

    if it.result[0] == "exception":
        raise it.result[1]

    return it.result[1]

Invocando-o com um tempo limite de 5 segundos:

result = timeout(remote_calculate, (myarg,), timeout_duration=5)