Preciso excluir o tópico testno Apache Kafka 0.8.1.1.

Conforme expresso na documentação aqui , eu executei:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

No entanto, isso resulta na seguinte mensagem:

Command must include exactly one action: --list, --describe, --create or --alter

Como posso deletar este tópico?

Excluir o tópico nem sempre funciona no 0.8.1.1

A exclusão deve funcionar na próxima versão, 0.8.2

kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name

  Topic your_topic_name is marked for deletion.
  Note: This will have no impact if delete.topic.enable is not set to true.

É possível deletar um tópico?

Jira KAFKA-1397

Parece que o comando de exclusão não foi documentado oficialmente no Kafka 0.8.1.x por causa de um bug conhecido ( https://issues.apache.org/jira/browse/KAFKA-1397 ).

No entanto, o comando ainda foi enviado no código e pode ser executado como:

bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper localhost:2181 --topic test

Nesse ínterim, o bug foi corrigido e o comando de exclusão agora está oficialmente disponível no Kafka 0.8.2.0 como:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

Adicione a linha abaixo em $ {kafka_home} /config/server.properties

delete.topic.enable=true

Reinicie o servidor kafka com a nova configuração:

${kafka_home}/bin/kafka-server-start.sh ~/kafka/config/server.properties

Exclua os tópicos que deseja:

${kafka_home}/bin/kafka-topics.sh --delete  --zookeeper localhost:2181  --topic daemon12

Andrea está certa. podemos fazer isso usando a linha de comando.

E ainda podemos programá-lo, por

ZkClient zkClient = new ZkClient("localhost:2181", 10000);
zkClient.deleteRecursive(ZkUtils.getTopicPath("test2"));

Na verdade, eu não recomendo que você exclua o tópico do Kafka 0.8.1.1. Eu posso excluir este tópico por este método, mas se você verificar o log do zookeeper, a exclusão bagunça tudo.

Você pode excluir um tópico específico do kafka (exemplo test:) do comando shell do zookeeper ( zookeeper-shell.sh). Use o comando abaixo para deletar o tópico

rmr {path of the topic}

exemplo:

rmr /brokers/topics/test

Etapas para excluir um ou mais tópicos no Kafka

Para excluir tópicos no kafka, a opção de exclusão precisa ser habilitada no servidor Kafka.

1. Go to {kafka_home}/config/server.properties
2. Uncomment delete.topic.enable=true

Exclua um Tópico no Kafka digite o seguinte comando

kafka-topics.sh --delete --zookeeper localhost: 2181 --topic

Para excluir mais de um tópico do kafka

(bom para fins de teste, onde criei vários tópicos e tive que excluí-los para diferentes cenários)

1. Pare o servidor Kafka e o Zookeeper
2. vá para a pasta / tmp onde os logs são armazenados e exclua a pasta kafkalogs e zookeeper manualmente
3. Reinicie o zookeeper e o servidor kafka e tente listar os tópicos,

bin / kafka-topics.sh --list --zookeeper localhost: 2181

se nenhum tópico estiver listado, todos os tópicos foram excluídos com sucesso. Se os tópicos estiverem listados, a exclusão não foi bem-sucedida. Tente as etapas acima novamente ou reinicie o computador.

Estas etapas excluirão todos os tópicos e dados

• Pare o servidor Kafka e o servidor Zookeeper
• Remova os diretórios de dados tmp de ambos os serviços; por padrão, eles são C: / tmp / kafka-logs e C: / tmp / zookeeper.
• em seguida, inicie o servidor Zookeeper e o servidor Kafka

O comando:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

infelizmente, apenas marca o tópico para exclusão.

Eliminação não acontece.

Isso cria problemas, ao testar qualquer script, que prepara a configuração do Kafka.

Tópicos conectados:

• Eliminar fila Kafka
• Existe uma maneira de excluir todos os dados de um tópico ou excluir o tópico antes de cada execução?

Adicionando às respostas acima, é necessário excluir os metadados associados a esse tópico no caminho de compensação do consumidor do zookeeper.

bin/zookeeper-shell.sh zookeeperhost:port

rmr /consumers/<sample-consumer-1>/offsets/<deleted-topic>

Caso contrário, o atraso será negativo nas ferramentas de monitoramento kafka baseadas no zookeeper.

Conforme mencionado no doc aqui

A opção de exclusão de tópico está desabilitada por padrão. Para habilitá-lo, defina a configuração do servidor delete.topic.enable = true, Kafka não suporta atualmente a redução do número de partições para um tópico ou alteração do fator de replicação.

Certifique-se de que delete.topic.enable = true

bin/kafka-topics.sh –delete –zookeeper localhost:2181 –topic <topic-name>

Se você tiver problemas para excluir os tópicos, tente excluí-los usando:

$KAFKA_HOME/bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name

comando. Então, a fim de verificar o processo de exclusão, vá para o diretório de logs kafka, que normalmente está localizado em /tmp/kafka-logs/, e exclua o your_topic_namearquivo viarm -rf your_topic_name comando.

Lembre-se de monitorar todo o processo por meio de uma ferramenta de gerenciamento kafka como Kafka Tool .

O processo mencionado acima removerá os tópicos sem reiniciar o servidor kafka.

Etapa 1: verifique se você está conectado ao zookeeper e ao Kafka em execução

Etapa 2: Para deletar o tópico Kafka, execute Kafka-topic (Mac) ou Kafka-topic.sh se usar (linux / Mac) adicione a porta e --topic com o nome do seu tópico e --delete apenas exclua o tópico com sucesso.

# Delete the kafka topic
# it will delete the kafka topic
kafka-topics --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete
# or
kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete

Primeiro, você executa este comando para excluir seu tópico:

$ bin/kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic <topic_name>

Liste os tópicos ativos para verificar a exclusão completa:

$ bin/kafka-topics.sh --list --bootstrap-server localhost:9092