Perguntas com a marcação «kafka-consumer-api»

Estou começando a aprender Kafka para fins de solução corporativa. Durante minhas leituras, algumas perguntas vieram à minha mente: Quando um produtor está produzindo uma mensagem - ele especificará o tópico para o qual deseja enviar a mensagem, certo? Importa-se com partições? Quando um assinante está em execução - ele …

185 apache-kafka  kafka-consumer-api  kafka-producer-api 

Recentemente, comecei a aprender Kafka e acabei com essas perguntas. Qual é a diferença entre Consumer e Stream? Para mim, se alguma ferramenta / aplicativo consome mensagens do Kafka é um consumidor do mundo Kafka. Como o Stream é diferente, pois também consome ou produz mensagens para o Kafka? e …

102 apache-kafka  kafka-consumer-api  apache-kafka-streams 

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Atualmente, estou enviando mensagens sem nenhuma chave como parte das mensagens codificadas. Ainda funcionará com delete.retention.ms? Preciso enviar uma chave como parte da mensagem? É bom tornar a chave como parte da mensagem?

93 apache-kafka  kafka-consumer-api 

Estou usando o cliente Confluent.Kafka .NET versão 1.3.0. Estou seguindo os documentos : var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId = this.groupId, SecurityProtocol = SecurityProtocol.SaslPlaintext, SaslMechanism = SaslMechanism.Plain, SaslUsername = this.kafkaUsername, SaslPassword = this.kafkaPassword, }; using (var …

10 c#  apache-kafka  kafka-consumer-api