Perguntas com a marcação «airflow»

Problema Existe alguma maneira no Airflow de criar um fluxo de trabalho de forma que o número de tarefas B. * seja desconhecido até a conclusão da Tarefa A? Eu olhei para subdags, mas parece que só pode funcionar com um conjunto estático de tarefas que devem ser determinadas na …

96 python  workflow  airflow 

após uma nova instalação usando pip install apache-airflow, qualquer tentativa de executar o fluxo de ar termina com um erro de importação do python: Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/Users/\*/env/lib/python3.7/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) …

19 python  flask  airflow  werkzeug 

Instalação feita corretamente. O db foi iniciado corretamente e a tentativa de iniciar o servidor da web mostra o seguinte erro. Eu reinstalei tudo, mas ainda não está funcionando. Eu aprecio se alguém me ajudar. Saída do console: $:~/airflow# airflow webserver -p 8080 ____________ _____________ ____ |__( )_________ __/__ /________ …

16 airflow 

Estou usando o https://github.com/helm/charts/tree/master/stable/airflow helm chart e construindo a puckle/docker-airflowimagem v1.10.8 com o kubernetes instalado e usando essa imagem no gráfico de helm, mas continuo recebendo File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File …

12 kubernetes  airflow  kubernetes-helm  airflow-scheduler 

Fechadas. Esta pergunta não é reproduzível ou foi causada por erros de digitação . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Stack Overflow. Fechado há 3 meses . Estou ficando acima do erro ao tentar o fluxo …

12 python  airflow 

Estou tentando mover arquivos s3 de um bloco "não excluído" (o que significa que não posso excluir os arquivos) para o GCS usando o fluxo de ar. Não posso garantir que novos arquivos estejam lá todos os dias, mas devo verificar se há novos arquivos todos os dias. meu problema …

10 python  airflow  directed-acyclic-graphs 

Eu tenho um cenário como abaixo: Acione um Task 1e Task 2somente quando novos dados estiverem disponíveis para eles na tabela de origem (Athena). O acionador da Tarefa1 e da Tarefa2 deve ocorrer quando uma nova parição de dados em um dia. Disparar Task 3apenas após a conclusão Task 1eTask …

9 python  airflow  amazon-athena  directed-acyclic-graphs  airflow-scheduler