Perguntas com a marcação «apache-kafka»

Preciso excluir o tópico testno Apache Kafka 0.8.1.1. Conforme expresso na documentação aqui , eu executei: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test No entanto, isso resulta na seguinte mensagem: Command must include exactly one action: --list, --describe, --create or --alter Como posso deletar este tópico?

92 apache-kafka 

Fechado . Esta questão precisa ser mais focada . Atualmente não está aceitando respostas. Quer melhorar esta questão? Atualize a pergunta para que ela se concentre em apenas um problema, editando esta postagem . Fechado há 4 meses . Melhore esta questão O Redis pode ser usado como pub-sub em …

91 redis  apache-kafka  publish-subscribe 

Existe uma maneira de excluir todos os dados de um tópico ou excluir o tópico antes de cada execução? Posso modificar o arquivo KafkaConfig.scala para alterar a logRetentionHourspropriedade? Existe uma maneira de as mensagens serem excluídas assim que o consumidor as lê? Estou usando produtores para buscar os dados de …

87 apache-kafka  apache-zookeeper 

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 4 dias . Eu fui a uma entrevista de emprego de engenheiro de …

20 apache-spark  apache-kafka  stream-processing 

Estou usando o cliente Confluent.Kafka .NET versão 1.3.0. Estou seguindo os documentos : var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId = this.groupId, SecurityProtocol = SecurityProtocol.SaslPlaintext, SaslMechanism = SaslMechanism.Plain, SaslUsername = this.kafkaUsername, SaslPassword = this.kafkaPassword, }; using (var …

10 c#  apache-kafka  kafka-consumer-api 

Eu tenho um aplicativo simples, com duas funções, uma para ouvir o tópico e outra para o endpoint da web. Desejo criar SSE (fluxo de eventos do lado do servidor), ou seja, texto / fluxo de eventos, para que no cliente final possa ouvi-lo usando EventSource. Eu tenho o seguinte …

9 python  python-3.x  apache-kafka  aiohttp  faust 

Estou recebendo FETCH_SESSION_ID_NOT_FOUND continuamente. Não sei por que isso está acontecendo. Alguém pode me agradar aqui qual é o problema e qual será o impacto nos consumidores e corretores. Log do servidor Kafka: INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the …

9 apache-kafka 

Ao definir uma topologia em fluxos kafka, um armazenamento de estado global pode ser adicionado. Ele precisará de um tópico de origem e também de um ProcessorSupplier. O processador recebe registros e pode teoricamente transformá-los antes de adicioná-los à loja. Porém, em caso de restauração, os registros são inseridos diretamente …

8 java  apache-kafka  apache-kafka-streams 

Eu estava analisando o que entendi que podemos conseguir com uma única transação, permitindo idempotence=true idempotência: o produtor Idempotent ativa exatamente uma vez um produtor em um único tópico. Basicamente, cada envio de mensagem tem garantias mais fortes e não será duplicado caso ocorra um erro Então, se já temos …

8 apache-kafka  apache-kafka-streams