Limpar tópico Kafka

Existe uma maneira de limpar o tópico no kafka?

Enviei uma mensagem muito grande para um tópico de mensagem kafka na minha máquina local, agora estou recebendo um erro:

kafka.common.InvalidMessageSizeException: invalid message size

Aumentar o fetch.sizenão é o ideal aqui, porque na verdade não quero aceitar mensagens tão grandes.

Atualize temporariamente o tempo de retenção no tópico para um segundo:

kafka-topics.sh --zookeeper <zkhost>:2181 --alter --topic <topic name> --config retention.ms=1000

E nas versões mais recentes do Kafka, você também pode fazê-lo com kafka-configs --entity-type topics

kafka-configs.sh --zookeeper <zkhost>:2181 --entity-type topics --alter --entity-name <topic name> --add-config retention.ms=1000

então aguarde a limpeza entrar em vigor (cerca de um minuto). Depois de limpo, restaure o retention.msvalor anterior .

Para limpar a fila, você pode excluir o tópico:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

depois recrie-o:

bin/kafka-topics.sh --create --zookeeper localhost:2181 \
    --replication-factor 1 --partitions 1 --topic test

Aqui estão as etapas que eu sigo para excluir um tópico chamado MyTopic:

1. Descreva o tópico e não use os IDs do broker
2. Pare o daemon Apache Kafka para cada ID do broker listado.
3. Conecte-se a cada intermediário e exclua a pasta de dados do tópico, por exemplo rm -rf /tmp/kafka-logs/MyTopic-0. Repita para outras partições e todas as réplicas
4. Excluir os metadados tópico: zkCli.shem seguida,rmr /brokers/MyTopic
5. Inicie o daemon Apache Kafka para cada máquina parada

Se você errar a etapa 3, o Apache Kafka continuará relatando o tópico como presente (por exemplo, quando você executar kafka-list-topic.sh).

Testado com Apache Kafka 0.8.0.

Embora a resposta aceita esteja correta, esse método foi preterido. A configuração do tópico agora deve ser feita via kafka-configs.

kafka-configs --zookeeper localhost:2181 --entity-type topics --alter --add-config retention.ms=1000 --entity-name MyTopic

As configurações definidas por esse método podem ser exibidas com o comando

kafka-configs --zookeeper localhost:2181 --entity-type topics --describe --entity-name MyTopic

Testado no Kafka 0.8.2, para o exemplo de início rápido: Primeiro, adicione uma linha ao arquivo server.properties na pasta config:

delete.topic.enable=true

então, você pode executar este comando:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

From kafka 1.1

Limpar um tópico

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name tp_binance_kline --add-config retention.ms=100

aguarde 1 minuto, para garantir que kafka limpe o tópico remova a configuração e, em seguida, vá para o valor padrão

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name tp_binance_kline --delete-config retention.ms

O kafka não possui um método direto para o tópico de limpeza / limpeza (Filas), mas pode fazer isso excluindo esse tópico e recriá-lo.

primeiro, verifique se o arquivo sever.properties possui e, se não, adicione delete.topic.enable=true

em seguida, excluir tópico bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic myTopic

depois crie-o novamente.

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic myTopic --partitions 10 --replication-factor 2

Às vezes, se você tiver um cluster saturado (muitas partições, ou usando dados de tópico criptografados, ou SSL, ou o controlador estiver em um nó inválido ou a conexão estiver irregular, levará muito tempo para limpar o tópico) .

Eu sigo estas etapas, principalmente se você estiver usando o Avro.

1: Execute com ferramentas kafka:

bash kafka-configs.sh --alter --entity-type topics --zookeeper zookeeper01.kafka.com --add-config retention.ms=1 --entity-name <topic-name>

2: Executar no nó de registro do esquema:

kafka-avro-console-consumer --consumer-property security.protocol=SSL --consumer-property ssl.truststore.location=/etc/schema-registry/secrets/trust.jks --consumer-property ssl.truststore.password=password --consumer-property ssl.keystore.location=/etc/schema-registry/secrets/identity.jks --consumer-property ssl.keystore.password=password --consumer-property ssl.key.password=password --bootstrap-server broker01.kafka.com:9092 --topic <topic-name> --new-consumer --from-beginning

3: Coloque a retenção de tópicos de volta à configuração original, quando o tópico estiver vazio.

bash kafka-configs.sh --alter --entity-type topics --zookeeper zookeeper01.kafka.com --add-config retention.ms=604800000 --entity-name <topic-name>

Espero que isso ajude alguém, pois não é facilmente anunciado.

ATUALIZAÇÃO: Esta resposta é relevante para o Kafka 0.6. Para o Kafka 0.8 e posterior, consulte a resposta do @Patrick.

Sim, pare o kafka e exclua manualmente todos os arquivos do subdiretório correspondente (é fácil encontrá-lo no diretório de dados kafka). Após o kafka reiniciar, o tópico ficará vazio.

A abordagem mais simples é definir que a data dos arquivos de log individuais seja mais antiga que o período de retenção. Em seguida, o corretor deve limpá-los e removê-los para você dentro de alguns segundos. Isso oferece várias vantagens:

1. Não há necessidade de derrubar corretores, é uma operação de tempo de execução.
2. Evita a possibilidade de exceções de deslocamento inválidas (mais sobre isso abaixo).

Na minha experiência com o Kafka 0.7.x, remover os arquivos de log e reiniciar o broker pode levar a exceções de deslocamento inválidas para determinados consumidores. Isso aconteceria porque o broker reiniciaria as compensações em zero (na ausência de arquivos de log existentes) e um consumidor que estava consumindo anteriormente do tópico se reconectaria para solicitar um deslocamento [uma vez válido] específico. Se esse deslocamento estiver fora dos limites dos novos logs de tópicos, nenhum dano será causado e o consumidor continuará no início ou no final. Porém, se o deslocamento cair dentro dos limites dos novos logs de tópico, o broker tentará buscar o conjunto de mensagens, mas falhará porque o deslocamento não se alinha a uma mensagem real.

Isso pode ser atenuado também limpando as compensações do consumidor no tratador para esse tópico. Mas se você não precisa de um tópico virgem e apenas deseja remover o conteúdo existente, simplesmente 'tocar' alguns logs de tópicos é muito mais fácil e confiável do que parar os intermediários, excluir logs de tópicos e limpar certos nós do tratador .

O conselho de Thomas é ótimo, mas infelizmente zkClinas versões antigas do Zookeeper (por exemplo, 3.3.6) não parecem dar suporte rmr. Por exemplo, compare a implementação da linha de comando no Zookeeper moderno com a versão 3.3 .

Se você se deparar com uma versão antiga do Zookeeper, uma solução é usar uma biblioteca cliente como o zc.zk para Python. Para pessoas não familiarizadas com o Python, é necessário instalá-lo usando o pip ou o easy_install . Em seguida, inicie um shell Python ( python) e você pode fazer:

import zc.zk
zk = zc.zk.ZooKeeper('localhost:2181')
zk.delete_recursive('brokers/MyTopic') 

ou mesmo

zk.delete_recursive('brokers')

se você deseja remover todos os tópicos do Kafka.

Para limpar todas as mensagens de um tópico específico usando o seu grupo de aplicativos (GroupName deve ser o mesmo que o nome do grupo kafka do aplicativo).

./kafka-path/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topicName --from-beginning --group application-group

Após a resposta do @steven appleyard, executei os seguintes comandos no Kafka 2.2.0 e eles funcionaram para mim.

bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --describe

bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --alter --add-config retention.ms=1000

bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --alter --delete-config retention.ms

Muitas ótimas respostas por aqui, mas entre elas, não encontrei uma sobre o docker. Passei algum tempo para descobrir que o uso do contêiner do corretor está errado neste caso (obviamente !!!)

## this is wrong!
docker exec broker1 kafka-topics --zookeeper localhost:2181 --alter --topic mytopic --config retention.ms=1000

Exception in thread "main" kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING
        at kafka.zookeeper.ZooKeeperClient.$anonfun$waitUntilConnected$3(ZooKeeperClient.scala:258)
        at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)
        at kafka.utils.CoreUtils$.inLock(CoreUtils.scala:253)
        at kafka.zookeeper.ZooKeeperClient.waitUntilConnected(ZooKeeperClient.scala:254)
        at kafka.zookeeper.ZooKeeperClient.<init>(ZooKeeperClient.scala:112)
        at kafka.zk.KafkaZkClient$.apply(KafkaZkClient.scala:1826)
        at kafka.admin.TopicCommand$ZookeeperTopicService$.apply(TopicCommand.scala:280)
        at kafka.admin.TopicCommand$.main(TopicCommand.scala:53)
        at kafka.admin.TopicCommand.main(TopicCommand.scala)

e eu deveria ter usado em zookeeper:2181vez do --zookeeper localhost:2181meu arquivo de composição

## this might be an option, but as per comment below not all zookeeper images can have this script included
docker exec zookeper1 kafka-topics --zookeeper localhost:2181 --alter --topic mytopic --config retention.ms=1000

o comando correto seria

docker exec broker1 kafka-configs --zookeeper zookeeper:2181 --alter --entity-type topics --entity-name dev_gdn_urls --add-config retention.ms=12800000

Espero que economize o tempo de alguém.

Além disso, esteja ciente de que as mensagens não serão excluídas imediatamente e isso acontecerá quando o segmento do log for fechado.

Não foi possível adicionar como comentário por causa do tamanho: Não tenho certeza se isso é verdade, além de atualizar retention.ms e retention.bytes, mas notei que a política de limpeza de tópicos deve ser "delete" (padrão), se "compact", ela será mantenha as mensagens por mais tempo, ou seja, se for "compacto", você deverá especificar também delete.retention.ms .

./bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name test-topic-3-100 --entity-type topics
Configs for topics:test-topic-3-100 are retention.ms=1000,delete.retention.ms=10000,cleanup.policy=delete,retention.bytes=1

Também teve que monitorar as compensações mais antigas / mais recentes, devem ser as mesmas para confirmar que isso ocorreu com êxito, também pode verificar o du -h / tmp / kafka-logs / test-topic-3-100- *

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list "BROKER:9095" --topic test-topic-3-100 --time -1 | awk -F ":" '{sum += $3} END {print sum}' 26599762

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list "BROKER:9095" --topic test-topic-3-100 --time -2 | awk -F ":" '{sum += $3} END {print sum}' 26599762

O outro problema é que você precisa primeiro obter a configuração atual para se lembrar de reverter após a exclusão ser bem-sucedida: ./bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name test-topic-3-100 --entity-type topics

Outra abordagem, bastante manual, para eliminar um tópico é:

nos corretores:

1. parar corretor kafka
   sudo service kafka stop
2. excluir todos os arquivos de log da partição (isso deve ser feito em todos os intermediários)
   sudo rm -R /kafka-storage/kafka-logs/<some_topic_name>-*

no tratador:

3. executar interface de linha de comando zookeeper
   sudo /usr/lib/zookeeper/bin/zkCli.sh
4. use zkCli para remover os metadados do tópico
   rmr /brokers/topic/<some_topic_name>

nos corretores novamente:

5. reiniciar o serviço do broker
   sudo service kafka start

./kafka-topics.sh --describe --zookeeper zkHost:2181 --topic myTopic

Isso deve dar retention.msconfigurado. Em seguida, você pode usar o comando alter acima para mudar para 1 segundo (e depois voltar ao padrão).

Topic:myTopic   PartitionCount:6        ReplicationFactor:1     Configs:retention.ms=86400000

No Java, usando o novo em AdminZkClientvez do descontinuado AdminUtils:

  public void reset() {
    try (KafkaZkClient zkClient = KafkaZkClient.apply("localhost:2181", false, 200_000,
        5000, 10, Time.SYSTEM, "metricGroup", "metricType")) {

      for (Map.Entry<String, List<PartitionInfo>> entry : listTopics().entrySet()) {
        deleteTopic(entry.getKey(), zkClient);
      }
    }
  }

  private void deleteTopic(String topic, KafkaZkClient zkClient) {

    // skip Kafka internal topic
    if (topic.startsWith("__")) {
      return;
    }

    System.out.println("Resetting Topic: " + topic);
    AdminZkClient adminZkClient = new AdminZkClient(zkClient);
    adminZkClient.deleteTopic(topic);

    // deletions are not instantaneous
    boolean success = false;
    int maxMs = 5_000;
    while (maxMs > 0 && !success) {
      try {
        maxMs -= 100;
        adminZkClient.createTopic(topic, 1, 1, new Properties(), null);
        success = true;
      } catch (TopicExistsException ignored) {
      }
    }

    if (!success) {
      Assert.fail("failed to create " + topic);
    }
  }

  private Map<String, List<PartitionInfo>> listTopics() {
    Properties props = new Properties();
    props.put("bootstrap.servers", kafkaContainer.getBootstrapServers());
    props.put("group.id", "test-container-consumer-group");
    props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
    props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

    KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
    Map<String, List<PartitionInfo>> topics = consumer.listTopics();
    consumer.close();

    return topics;
  }