Perguntas com a marcação «airflow-scheduler»

1
O planejador de fluxo de ar falha ao iniciar com o executor kubernetes
Estou usando o https://github.com/helm/charts/tree/master/stable/airflow helm chart e construindo a puckle/docker-airflowimagem v1.10.8 com o kubernetes instalado e usando essa imagem no gráfico de helm, mas continuo recebendo File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File …

1
Como acionar uma tarefa Airflow somente quando novas partições / dados estão disponíveis na tabela AWS athena usando o DAG em python?
Eu tenho um cenário como abaixo: Acione um Task 1e Task 2somente quando novos dados estiverem disponíveis para eles na tabela de origem (Athena). O acionador da Tarefa1 e da Tarefa2 deve ocorrer quando uma nova parição de dados em um dia. Disparar Task 3apenas após a conclusão Task 1eTask …
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.