Como posso enviar mensagens grandes com Kafka (acima de 15 MB)?

Eu envio mensagens String para Kafka V. 0.8 com a API do Java Producer. Se o tamanho da mensagem for de cerca de 15 MB, recebo a MessageSizeTooLargeException. Tentei definir message.max.bytespara 40 MB, mas ainda recebo a exceção. As mensagens pequenas funcionaram sem problemas.

(A exceção aparece no produtor, não tenho um consumidor neste aplicativo.)

O que posso fazer para me livrar dessa exceção?

Minha configuração de produtor de exemplo

private ProducerConfig kafkaConfig() {
    Properties props = new Properties();
    props.put("metadata.broker.list", BROKERS);
    props.put("serializer.class", "kafka.serializer.StringEncoder");
    props.put("request.required.acks", "1");
    props.put("message.max.bytes", "" + 1024 * 1024 * 40);
    return new ProducerConfig(props);
}

Log de erros:

4709 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with correlation id 214 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
4869 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with    correlation id 217 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5035 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with   correlation id 220 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5198 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with correlation id 223 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5305 [main] ERROR kafka.producer.async.DefaultEventHandler  - Failed to send requests for topics datasift with correlation ids in [213,224]

kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.
at kafka.producer.async.DefaultEventHandler.handle(Unknown Source)
at kafka.producer.Producer.send(Unknown Source)
at kafka.javaapi.producer.Producer.send(Unknown Source)

Você precisa ajustar três (ou quatro) propriedades:

• Lado do consumidor: fetch.message.max.bytes- determinará o maior tamanho de uma mensagem que pode ser buscada pelo consumidor.
• Lado do corretor: replica.fetch.max.bytes- permitirá que as réplicas nos corretores enviem mensagens dentro do cluster e certifique-se de que as mensagens sejam replicadas corretamente. Se for muito pequeno, a mensagem nunca será replicada e, portanto, o consumidor nunca verá a mensagem porque ela nunca será confirmada (totalmente replicada).
• Lado do corretor: message.max.bytes- este é o maior tamanho da mensagem que pode ser recebida pelo corretor de um produtor.
• Lado do corretor (por tópico): max.message.bytes- este é o maior tamanho da mensagem que o corretor permitirá que seja anexado ao tópico. Este tamanho é pré-compressão validado. (O padrão é do corretor message.max.bytes.)

Eu descobri da maneira mais difícil sobre o número 2 - você não recebe NENHUMA exceção, mensagem ou aviso de Kafka, então lembre-se de levar isso em consideração ao enviar mensagens grandes.

Pequenas alterações necessárias para o Kafka 0.10 e o novo consumidor em comparação com a resposta doughing_man :

• Corretor: Sem alterações, você ainda precisa aumentar as propriedades message.max.bytese replica.fetch.max.bytes. message.max.bytesdeve ser igual ou menor (*) do que replica.fetch.max.bytes.
• Produtor: Aumente max.request.sizepara enviar a mensagem maior.
• Consumidor: Aumente max.partition.fetch.bytespara receber mensagens maiores.

(*) Leia os comentários para saber mais sobre message.max.bytes<=replica.fetch.max.bytes

Você precisa substituir as seguintes propriedades:

Configurações do corretor ($ KAFKA_HOME / config / server.properties)

• replica.fetch.max.bytes
• message.max.bytes

Configurações do consumidor ($ KAFKA_HOME / config / consumer.properties)
Esta etapa não funcionou para mim. Eu adicionei ao aplicativo do consumidor e estava funcionando bem

• fetch.message.max.bytes

Reinicie o servidor.

consulte esta documentação para obter mais informações: http://kafka.apache.org/08/configuration.html

A ideia é ter o mesmo tamanho de mensagem enviada do Produtor Kafka para o Corretor Kafka e depois recebida pelo Consumidor Kafka, ou seja,

Produtor Kafka -> Corretor Kafka -> Consumidor Kafka

Suponha que se o requisito for enviar 15 MB de mensagem, o produtor , o corretor e o consumidor , todos os três, precisam estar sincronizados.

Kafka Produtor envia 15 MB -> Kafka Broker Permite / Armazena 15 MB -> Kafka Consumidor recebe 15 MB

A configuração, portanto, deve ser:

a) no corretor:

message.max.bytes=15728640 
replica.fetch.max.bytes=15728640

b) no consumidor:

fetch.message.max.bytes=15728640

É importante lembrar que o message.max.bytesatributo deve estar sincronizado com a fetch.message.max.bytespropriedade do consumidor . o tamanho de busca deve ser pelo menos tão grande quanto o tamanho máximo da mensagem, caso contrário, pode haver uma situação em que os produtores podem enviar mensagens maiores do que o consumidor pode consumir / buscar. Pode valer a pena dar uma olhada nisso.
Qual versão do Kafka você está usando? Forneça também mais alguns rastreios de detalhes que você está obtendo. há algo como ... payload size of xxxx larger than 1000000aparecendo no log?

A resposta de @laughing_man é bastante precisa. Mesmo assim, eu queria dar uma recomendação que aprendi com o especialista em Kafka, Stephane Maarek, do Quora.

Kafka não foi feito para lidar com mensagens grandes.

Sua API deve usar armazenamento em nuvem (Ex AWS S3), e apenas enviar para Kafka ou qualquer corretor de mensagens uma referência de S3. Você deve encontrar um lugar para manter seus dados, talvez seja uma unidade de rede, talvez seja o que for, mas não deve ser um agente de mensagens.

Agora, se você não quiser ir com a solução acima

O tamanho máximo da mensagem é 1 MB (a configuração em seus corretores é chamada message.max.bytes) Apache Kafka . Se você realmente precisasse muito, você poderia aumentar esse tamanho e certificar-se de aumentar os buffers de rede para seus produtores e consumidores.

E se você realmente se preocupa em dividir sua mensagem, certifique-se de que cada divisão de mensagem tenha exatamente a mesma chave para que seja enviada para a mesma partição, e seu conteúdo de mensagem deve relatar um "id de parte" para que seu consumidor possa reconstruir totalmente a mensagem .

Você também pode explorar a compactação, se sua mensagem for baseada em texto (gzip, snappy, compactação lz4), o que pode reduzir o tamanho dos dados, mas não por mágica.

Novamente, você precisa usar um sistema externo para armazenar esses dados e apenas enviar uma referência externa para Kafka. Essa é uma arquitetura muito comum, que você deve seguir e amplamente aceita.

Tenha isso em mente que o Kafka funciona melhor apenas se as mensagens forem grandes em quantidade, mas não em tamanho.

Fonte: https://www.quora.com/How-do-I-send-Large-messages-80-MB-in-Kafka

Para pessoas que usam landoop kafka: você pode passar os valores de configuração nas variáveis ​​de ambiente como:

docker run -d --rm -p 2181:2181 -p 3030:3030 -p 8081-8083:8081-8083  -p 9581-9585:9581-9585 -p 9092:9092
 -e KAFKA_TOPIC_MAX_MESSAGE_BYTES=15728640 -e KAFKA_REPLICA_FETCH_MAX_BYTES=15728640  landoop/fast-data-dev:latest `

E se você estiver usando rdkafka, passe a mensagem.max.bytes na configuração do produtor como:

  const producer = new Kafka.Producer({
        'metadata.broker.list': 'localhost:9092',
        'message.max.bytes': '15728640',
        'dr_cb': true
    });

Da mesma forma, para o consumidor,

  const kafkaConf = {
   "group.id": "librd-test",
   "fetch.message.max.bytes":"15728640",
   ... .. }