Como verificar o status da tarefa no Celery?

Como verificar se uma tarefa está sendo executada no aipo (especificamente, estou usando o celery-django)?

Eu li a documentação e pesquisei, mas não consigo ver uma chamada como:

my_example_task.state() == RUNNING

Meu caso de uso é que tenho um serviço externo (java) para transcodificação. Quando envio um documento para ser transcodificado, quero verificar se a tarefa que executa esse serviço está em execução e, caso não esteja, (re) iniciá-la.

Estou usando as versões estáveis ​​atuais - 2.4, acredito.

Retorne o task_id (que é fornecido a partir de .delay ()) e pergunte à instância de aipo depois sobre o estado:

x = method.delay(1,2)
print x.task_id

Ao perguntar, obtenha um novo AsyncResult usando este task_id:

from celery.result import AsyncResult
res = AsyncResult("your-task-id")
res.ready()

Criar um AsyncResultobjeto a partir do id da tarefa é a forma recomendada no FAQ para obter o status da tarefa quando a única coisa que você tem é o id da tarefa.

No entanto, a partir do Celery 3.x, existem advertências significativas que podem morder as pessoas se não derem atenção a elas. Realmente depende do cenário de caso de uso específico.

Por padrão, o Celery não registra um estado de "execução".

Para que o Celery registre que uma tarefa está em execução, você deve definir task_track_startedcomo True. Aqui está uma tarefa simples que testa isso:

@app.task(bind=True)
def test(self):
    print self.AsyncResult(self.request.id).state

Quando task_track_startedé False, que é o padrão, a exibição do estado é PENDINGmesmo que a tarefa tenha sido iniciada. Se você definir task_track_startedcomo True, o estado será STARTED.

O estado PENDINGsignifica "Não sei".

Um AsyncResultcom o estado PENDINGnão significa nada mais do que o fato de que Celery não conhece o status da tarefa. Isso pode ser por uma série de razões.

Por um lado, AsyncResultpode ser construído com ids de tarefa inválidos. Essas "tarefas" serão consideradas pendentes pelo Celery:

>>> task.AsyncResult("invalid").status
'PENDING'

Ok, então ninguém vai alimentar ids obviamente inválidos para AsyncResult. É justo, mas também tem efeito que AsyncResulttambém considerará uma tarefa que foi executada com sucesso, mas que o aipo esqueceu como sendo PENDING. Novamente, em alguns cenários de casos de uso, isso pode ser um problema. Parte do problema gira em torno de como o Celery está configurado para manter os resultados das tarefas, porque depende da disponibilidade das "marcas para exclusão" no backend de resultados. ("Tombstones" é o termo usado na documentação do Celery para os blocos de dados que registram como a tarefa terminou.) O uso AsyncResultnão funcionará se task_ignore_resultfor True. Um problema mais irritante é que o Celery expira as marcas de exclusão por padrão. oresult_expiresconfiguração padrão é 24 horas. Portanto, se você iniciar uma tarefa e registrar a id no armazenamento de longo prazo, e mais 24 horas depois, criar um AsyncResultcom ela, o status será PENDING.

Todas as "tarefas reais" começam no PENDINGestado. Portanto, realizar PENDINGuma tarefa pode significar que a tarefa foi solicitada, mas nunca avançou além disso (por qualquer motivo). Ou pode significar que a tarefa foi executada, mas Celery esqueceu seu estado.

Ai! AsyncResultnão vai funcionar para mim. O que mais eu posso fazer?

Prefiro controlar as metas do que as tarefas em si . Eu mantenho algumas informações sobre as tarefas, mas elas são secundárias para manter o controle dos objetivos. As metas são armazenadas em armazenamento independente do Aipo. Quando uma solicitação precisa realizar um cálculo depende de algum objetivo ter sido alcançado, ele verifica se o objetivo já foi alcançado, se sim, então ele usa este objetivo em cache, caso contrário, ele inicia a tarefa que afetará o objetivo e envia para o cliente que fez a solicitação HTTP uma resposta que indica que ele deve esperar por um resultado.

Os nomes de variáveis ​​e hiperlinks acima são para Celery 4.x. Em 3.x as variáveis e hiperlinks correspondentes são: CELERY_TRACK_STARTED, CELERY_IGNORE_RESULT, CELERY_TASK_RESULT_EXPIRES.

Todo Taskobjeto possui uma .requestpropriedade, que o contém AsyncRequest. Consequentemente, a linha a seguir fornece o estado de uma Tarefa task:

task.AsyncResult(task.request.id).state

Você também pode criar estados personalizados e atualizar seu valor na execução da tarefa. Este exemplo é do docs:

@app.task(bind=True)
def upload_files(self, filenames):
    for i, file in enumerate(filenames):
        if not self.request.called_directly:
            self.update_state(state='PROGRESS',
                meta={'current': i, 'total': len(filenames)})

http://celery.readthedocs.org/en/latest/userguide/tasks.html#custom-states

Pergunta antiga, mas recentemente me deparei com esse problema.

Se você está tentando obter o task_id, pode fazer assim:

import celery
from celery_app import add
from celery import uuid

task_id = uuid()
result = add.apply_async((2, 2), task_id=task_id)

Agora você sabe exatamente o que é task_id e pode usá-lo para obter o AsyncResult:

# grab the AsyncResult 
result = celery.result.AsyncResult(task_id)

# print the task id
print result.task_id
09dad9cf-c9fa-4aee-933f-ff54dae39bdf

# print the AsyncResult's status
print result.status
SUCCESS

# print the result returned 
print result.result
4

Basta usar esta API do FAQ do aipo

result = app.AsyncResult(task_id)

Isso funciona bem.

Resposta de 2020:

#### tasks.py
@celery.task()
def mytask(arg1):
    print(arg1)

#### blueprint.py
@bp.route("/args/arg1=<arg1>")
def sleeper(arg1):
    process = mytask.apply_async(args=(arg1,)) #mytask.delay(arg1)
    state = process.state
    return f"Thanks for your patience, your job {process.task_id} \
             is being processed. Status {state}"

Experimentar:

task.AsyncResult(task.request.id).state

isso fornecerá o status da Tarefa de aipo. Se a tarefa de aipo já estiver no estado de FALHA, ela lançará uma exceção:

raised unexpected: KeyError('exc_type',)

para tarefas simples, podemos usar http://flower.readthedocs.io/en/latest/screenshots.html e http://policystat.github.io/jobtastic/ para fazer o monitoramento.

e para tarefas complicadas, digamos uma tarefa que lida com muitos outros módulos. Recomendamos registrar manualmente o progresso e a mensagem na unidade de tarefa específica.

Encontrei informações úteis no

Guia dos Trabalhadores do Projeto de Aipo trabalhadores-inspetores

No meu caso, estou verificando se o Celery está funcionando.

inspect_workers = task.app.control.inspect()
if inspect_workers.registered() is None:
    state = 'FAILURE'
else:
    state = str(task.state) 

Você pode brincar com inspecionar para atender às suas necessidades.

• Primeiro, em seu aplicativo de aipo:

vi my_celery_apps / app1.py

app = Celery(worker_name)

• e, em seguida, mude para o arquivo de tarefa, importe o aplicativo do seu módulo de aplicativo aipo.

vi tasks / task1.py

from my_celery_apps.app1 import app

app.AsyncResult(taskid)

try:
   if task.state.lower() != "success":
        return
except:
    """ do something """

Além da abordagem programática acima, o status da Tarefa de flores pode ser facilmente visto.

Monitoramento em tempo real usando Celery Events. Flower é uma ferramenta baseada na web para monitorar e administrar clusters de Celery.

1. Progresso e histórico da tarefa
2. Capacidade de mostrar detalhes da tarefa (argumentos, hora de início, tempo de execução e mais)
3. Gráficos e estatísticas

Documento oficial: Flor - ferramenta de monitoramento de aipo

Instalação:

$ pip install flower

Uso:

http://localhost:5555

res = method.delay()
    
print(f"id={res.id}, state={res.state}, status={res.status} ")

print(res.get())