O que determina a compensação do consumidor Kafka?

Eu sou relativamente novo em Kafka. Eu experimentei um pouco, mas algumas coisas não estão claras para mim em relação à compensação do consumidor. Pelo que entendi até agora, quando um consumidor inicia, o deslocamento do qual ele começará a ler é determinado pela configuração auto.offset.reset(corrija-me se estiver errado).

Agora diga, por exemplo, que há 10 mensagens (compensações de 0 a 9) no tópico, e um consumidor consumiu 5 delas antes de cair (ou antes de eu matar o consumidor). Então diga que eu reinicio esse processo do consumidor. Minhas perguntas são:

1. Se o auto.offset.resetestiver definido como smallest, sempre começará a consumir a partir do deslocamento 0?

2. Se o auto.offset.resetestiver definido como largest, começará a consumir a partir do deslocamento 5?

3. O comportamento em relação a esse tipo de cenário é sempre determinístico?

Por favor, não hesite em comentar se algo na minha pergunta não estiver claro. Desde já, obrigado.

É um pouco mais complexo do que você descreveu.
A auto.offset.resetconfiguração é ativada APENAS se o seu grupo de consumidores não tiver um deslocamento válido confirmado em algum lugar (dois armazenamentos de deslocamento suportados agora são Kafka e Zookeeper) e também depende do tipo de consumidor que você usa.

Se você usa um consumidor java de alto nível, imagine os seguintes cenários:

1. Você tem um consumidor em um grupo de consumidores group1que consumiu 5 mensagens e morreu. Na próxima vez em que você iniciar esse consumidor, ele nem usará essa auto.offset.resetconfiguração e continuará do local em que morreu, pois apenas buscará o deslocamento armazenado no armazenamento de deslocamento (Kafka ou ZK, como mencionei).

2. Você tem mensagens em um tópico (como você descreveu) e inicia um consumidor em um novo grupo de consumidores group2. Não há deslocamento armazenado em nenhum lugar e, desta vez, a auto.offset.resetconfiguração decidirá se deve começar do início do tópico ( earliest) ou do final do tópico ( latest)

Mais uma coisa que afeta a que valor de deslocamento corresponderá earlieste latestconfigura é a política de retenção de log. Imagine que você tenha um tópico com retenção configurada para 1 hora. Você produz 5 mensagens e, uma hora depois, publica mais 5 mensagens. O latestdeslocamento ainda permanecerá o mesmo do exemplo anterior, mas earliestnão será possível 0porque o Kafka já removerá essas mensagens e, portanto, o deslocamento disponível mais antigo será 5.

Tudo mencionado acima não está relacionado SimpleConsumere, toda vez que você o executa, ele decide por onde começar usando a auto.offset.resetconfiguração.

Se você usar a versão Kafka mais velho do que 0,9, você tem que substituir earliest, latestcom smallest, largest.

Apenas uma atualização: do Kafka 0.9 em diante, o Kafka está usando uma nova versão Java do consumidor e os nomes dos parâmetros auto.offset.reset foram alterados; Do manual:

O que fazer quando não há deslocamento inicial no Kafka ou se o deslocamento atual não existe mais no servidor (por exemplo, porque esses dados foram excluídos):

mais cedo : redefine automaticamente o deslocamento para o deslocamento mais antigo

mais recente : redefine automaticamente o deslocamento para o deslocamento mais recente

none : lança exceção ao consumidor se nenhum deslocamento anterior for encontrado para o grupo de consumidores

qualquer outra coisa: lançar exceção ao consumidor.

Eu gastei algum tempo para encontrar isso depois de verificar a resposta aceita, então achei que seria útil para a comunidade publicá-la.

Além disso, há offsets.retention.minutes. Se o tempo desde o último commit for> offsets.retention.minutes, auto.offset.resettambém entra em ação