[Dúvida] Configurações do zookeeper e do brokers | Kafka: Fast delegate, evolução e cluster de brokers

Na nossa conexão foi só em um broker properties.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "127.0.0.1:9092"); Como nós tinha, mas brokers conectados no zookeeper com as replication.factor=3 mesmo derrubando o broker 127.0.0.1:9092 que está configurado na aplicação continuamos conectados nos outros brokers, que nós não configuramos. Minha dúvida é se nos podemos ter um broker na aws e um na google cloud na aplicação está configurado o broker aws a aplicação através do zookeeper a aplicação já vai saber do endereço do broker da google cloud? ou temos que fazer outras configurações?

Temos vários brokers para causas de falhas e o zookeeper que faz o controle e o zookeeper se cair, ou podemos ter mas de 1 zookeeper fazendo o controle se poder ter mais de um zookeeper como fazemos essa configuração?

seria no server.properties separando por virgula? zookeeper.connect=localhost:2181, localhost:2182

Oi Marcio, tudo bem?

Desculpe a demora em retornar.

É possível ter brokers em diferentes provedores de nuvem, como AWS e Google Cloud. O Kafka é uma plataforma distribuída e foi projetado para funcionar em ambientes com múltiplos brokers.

No seu caso, se você já configurou o broker da AWS na sua aplicação através do ZooKeeper, a aplicação já estará ciente do endereço desse broker. Para adicionar um broker da Google Cloud, você precisará fazer algumas configurações adicionais.

Primeiro, você precisará configurar o broker da Google Cloud no seu cluster do Kafka. Isso envolve a instalação e configuração do Kafka na máquina da Google Cloud, bem como a definição das propriedades corretas no arquivo "server.properties". Certifique-se de que o novo broker esteja conectado ao mesmo cluster do ZooKeeper.

Depois de configurar o novo broker, você precisará atualizar a configuração da sua aplicação para incluir o endereço do novo broker. Isso pode ser feito através da propriedade "bootstrap.servers" no arquivo de propriedades da sua aplicação.

Por exemplo, se o broker da AWS estiver configurado como "127.0.0.1:9092" e o broker da Google Cloud estiver configurado como "192.168.1.1:9092", você pode definir a propriedade "bootstrap.servers" como "127.0.0.1:9092,192.168.1.1:9092" na sua aplicação.

Quanto à configuração do ZooKeeper, é possível ter mais de um ZooKeeper fazendo o controle. No entanto, a configuração correta envolve a definição de um conjunto de servidores ZooKeeper no arquivo "zoo.cfg", separados por vírgula. Por exemplo, você pode definir a propriedade "zookeeper.connect" como "localhost:2181,localhost:2182" para ter dois servidores ZooKeeper.

Lembre-se de que a configuração do Kafka pode variar dependendo da versão que você está usando, então verifique a documentação oficial do Kafka para obter informações mais detalhadas sobre como configurar múltiplos brokers e ZooKeepers.

Um abraço e bons estudos.