1
resposta

[Dúvida] Segundo Broker desliga após a parada do primeiro

Estou tentando simular a queda de primeiro broker(id=0), com o objetivo do segundo(id=2) assumir.

Quando executo o stop do primeiro o segundo desliga sozinho logo em seguida. A pasta do log.dirs foi criada separadamente para os 2 brokers, alguma outra coisa pode estar influenciando nessa dependência?

Estou usando o Kafka v2.13-3.5.1

Segue log apresentado no segundo broker antes do desligamento:

[2023-08-22 11:01:58,426] INFO [KafkaServer id=2] Retrying controlled shutdown (2 retries remaining) (kafka.server.KafkaServer)
[2023-08-22 11:01:58,427] INFO [KafkaServer id=2] Client requested connection close from node 0 (org.apache.kafka.clients.NetworkClient)
[2023-08-22 11:01:58,482] INFO [KafkaServer id=2] Controlled shutdown request returned after 53ms with 12 partitions remaining to move (kafka.server.KafkaServer)
[2023-08-22 11:02:03,482] INFO [KafkaServer id=2] Retrying controlled shutdown (1 retries remaining) (kafka.server.KafkaServer)
[2023-08-22 11:02:03,493] INFO [KafkaServer id=2] Controlled shutdown request returned after 11ms with 12 partitions remaining to move (kafka.server.KafkaServer)
[2023-08-22 11:02:03,495] WARN [KafkaServer id=2] Proceeding to do an unclean shutdown as all the controlled shutdown attempts failed (kafka.server.KafkaServer)
[2023-08-22 11:02:03,496] INFO [/config/changes-event-process-thread]: Shutting down (kafka.common.ZkNodeChangeNotificationListener$ChangeEventProcessThread)
[2023-08-22 11:02:03,496] INFO [/config/changes-event-process-thread]: Stopped (kafka.common.ZkNodeChangeNotificationListener$ChangeEventProcessThread)
[2023-08-22 11:02:03,497] INFO [/config/changes-event-process-thread]: Shutdown completed (kafka.common.ZkNodeChangeNotificationListener$ChangeEventProcessThread)
    ...
1 resposta

Olá, Cezar

Pelo que você descreveu e pelo log que você compartilhou, parece que o segundo broker (id=2) está tentando realizar um shutdown controlado após a queda do primeiro broker (id=0). Isso pode ser devido a uma configuração no seu ambiente Kafka que está fazendo com que o broker id=2 dependa do broker id=0.

Uma coisa que você pode verificar é a configuração do seu arquivo server.properties para cada broker. Certifique-se de que eles estão configurados corretamente com seus respectivos IDs de broker, portas e diretórios de log separados.

Por exemplo, para o broker id=2, você deve ter algo assim no seu server2.properties:

broker.id=2
listeners=PLAINTEXT://:9093
log.dirs=/path/to/kafka2-logs

Além disso, verifique a configuração do Zookeeper. Cada broker deve ter seu próprio endereço Zookeeper configurado.

No entanto, se tudo estiver configurado corretamente e o problema persistir, pode ser um problema com a versão específica do Kafka que você está usando (v2.13-3.5.1). Você pode tentar atualizar para uma versão mais recente ou uma versão diferente para ver se o problema persiste.

Espero ter ajudado e bons estudos!