Perguntas com a marcação «apache-kafka»

Me pediram para avaliar o RabbitMQ em vez do Kafka, mas achei difícil encontrar uma razão para estar fazendo algo melhor que o Kafka. Alguém sabe se é realmente melhor em produtividade, durabilidade, latência ou facilidade de uso?

333 rabbitmq  apache-kafka  message-queue 

Embora eu tenha me encontrado com Kafka antes, recentemente percebi que Kafka talvez possa ser usado como (a base de) um CQRS , armazenamento de eventos . Um dos principais pontos que Kafka suporta: Captura / armazenamento de eventos, todos os HA, é claro. Arquitetura de pub / sub Capacidade …

219 cqrs  event-sourcing  apache-kafka  dddd 

Existe uma maneira de limpar o tópico no kafka? Enviei uma mensagem muito grande para um tópico de mensagem kafka na minha máquina local, agora estou recebendo um erro: kafka.common.InvalidMessageSizeException: invalid message size Aumentar o fetch.sizenão é o ideal aqui, porque na verdade não quero aceitar mensagens tão grandes.

185 apache-kafka  purge 

Estou começando a aprender Kafka para fins de solução corporativa. Durante minhas leituras, algumas perguntas vieram à minha mente: Quando um produtor está produzindo uma mensagem - ele especificará o tópico para o qual deseja enviar a mensagem, certo? Importa-se com partições? Quando um assinante está em execução - ele …

185 apache-kafka  kafka-consumer-api  kafka-producer-api 

Estou tentando usar o Kafka. Todas as configurações são feitas corretamente, mas quando tento produzir uma mensagem do console, continuo recebendo o seguinte erro WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) Versão Kafka: 2.11-0.9.0.0

172 apache-kafka  producer 

Eu sou relativamente novo em Kafka. Eu experimentei um pouco, mas algumas coisas não estão claras para mim em relação à compensação do consumidor. Pelo que entendi até agora, quando um consumidor inicia, o deslocamento do qual ele começará a ler é determinado pela configuração auto.offset.reset(corrija-me se estiver errado). Agora …

170 java  distributed-computing  apache-kafka 

Uma das primeiras coisas em que penso ao usar um novo serviço (como um armazenamento de dados não RDBMS ou uma fila de mensagens) é: "Como devo estruturar meus dados?". Eu li e assisti alguns materiais introdutórios. Em particular, considere, por exemplo, o Kafka: um sistema de mensagens distribuídas para …

168 apache-kafka 

No Kafka, eu gostaria de usar apenas um único broker, tópico único e uma única partição com um produtor e vários consumidores (cada consumidor obtendo sua própria cópia dos dados do broker). Diante disso, não quero a sobrecarga de usar o Zookeeper; Não posso apenas usar apenas o corretor? Por …

134 partitioning  apache-zookeeper  producer-consumer  apache-kafka  broker 

Eu envio mensagens String para Kafka V. 0.8 com a API do Java Producer. Se o tamanho da mensagem for de cerca de 15 MB, recebo a MessageSizeTooLargeException. Tentei definir message.max.bytespara 40 MB, mas ainda recebo a exceção. As mensagens pequenas funcionaram sem problemas. (A exceção aparece no produtor, não …

119 java  apache-kafka 

Como encontrar a versão kafka no linux? se existe uma maneira de encontrar a versão kafka instalada além de mencionar a versão durante o download?

107 apache-kafka 

Apache Kafka: sistema de mensagens distribuídas Apache Storm: processamento de mensagens em tempo real Como podemos usar as duas tecnologias em um pipeline de dados em tempo real para processar dados de eventos? Em termos de pipeline de dados em tempo real, ambos parecem fazer o trabalho idêntico. Como podemos …

102 apache-storm  apache-kafka  data-integration 

Recentemente, comecei a aprender Kafka e acabei com essas perguntas. Qual é a diferença entre Consumer e Stream? Para mim, se alguma ferramenta / aplicativo consome mensagens do Kafka é um consumidor do mundo Kafka. Como o Stream é diferente, pois também consome ou produz mensagens para o Kafka? e …

102 apache-kafka  kafka-consumer-api  apache-kafka-streams 

Fechado . Esta questão precisa ser mais focada . Atualmente não está aceitando respostas. Quer melhorar esta questão? Atualize a pergunta para que ela se concentre em apenas um problema, editando esta postagem . Fechado há 12 meses . Melhore esta questão Todos os exemplos de Kafka | produtores mostram …

98 apache-kafka  message-queue  messaging  key-value  messagebroker 

Estou usando o Apache Kafka para mensagens. Implementei o produtor e o consumidor em Java. Como podemos obter o número de mensagens em um tópico?

96 java  messages  apache-kafka 

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Atualmente, estou enviando mensagens sem nenhuma chave como parte das mensagens codificadas. Ainda funcionará com delete.retention.ms? Preciso enviar uma chave como parte da mensagem? É bom tornar a chave como parte da mensagem?

93 apache-kafka  kafka-consumer-api