1
resposta

Consumidores tópico

Boa tarde,

no curso diz que é raro ter vários micro serviços consumindo o mesmo tópico, hoje tenho um cenário onde vários micro serviços utilizam o mesmo tópico , isso é oneroso para o meu ambiente? fujo das boas praticas? No meu ambiente eu segrego os tópicos por tamanho de tabela (small, medium e big), e pode acontecer de alguma tabela(big) ficar em um tópico sozinho, fiz isso para ficar mais fácil de fazer manutenção em caso de falha etc.

Muito obrigada.

1 resposta

Oi Gabriela

Não é muito raro ter vários consumers no mesmo tópico não. Se o groupId dos consumers for diferente, ambos os consumers vão receber a mensagem. Supondo que você tenha um tópico com 4 partições, se você tiver 2 consumidores Kafka com o mesmo groupId, cada um vai ler 2 partições, o que significa que lerão diferentes conjuntos de partições = diferentes conjuntos de mensagens. Se você tiver 4 consumers Kafka com o mesmo groupId, cada um deles lerá três partições diferentes, etc. Mas quando você define um groupId diferente, a situação muda. Se você tiver dois consumidores Kafka com groupId diferente, eles lerão todas as 4 partições sem nenhuma interferência entre si. Isso significa que ambos os consumidores lerão o mesmo conjunto de mensagens independentemente. Se você tiver quatro consumidores Kafka com groupId diferente, todos lerão todas as partições etc. Ao contrário de muitos sistemas de mensagens tradicionais, o Kafka se adapta a um grande número de consumidores e grupos de consumidores sem reduzir o desempenho.

https://www.oreilly.com/library/view/kafka-the-definitive/9781491936153/ch04.html