kafka com python

Olá, Luiz.

Tudo bem?

Vou tentar te dar um exemplo básico de como implementar um produtor e um consumidor Kafka usando Python em uma infraestrutura local. Para isso, vamos utilizar a biblioteca kafka-python.

Primeiro, certifique-se de que você tem o Kafka instalado e rodando localmente. Depois, você pode instalar a biblioteca kafka-python usando o seguinte comando:

pip install kafka-python

Exemplo de Produtor

Aqui está um exemplo simples de um produtor Kafka em Python:

from kafka import KafkaProducer
import json

def json_serializer(data):
    return json.dumps(data).encode("utf-8")

producer = KafkaProducer(
    bootstrap_servers=['localhost:9092'],
    value_serializer=json_serializer
)

data = {"name": "Luiz", "course": "Kafka com Python"}
producer.send('meu_topico', data)
producer.flush()

Exemplo de Consumidor

E aqui está um exemplo de um consumidor Kafka em Python:

from kafka import KafkaConsumer
import json

def json_deserializer(data):
    return json.loads(data.decode("utf-8"))

consumer = KafkaConsumer(
    'meu_topico',
    bootstrap_servers=['localhost:9092'],
    auto_offset_reset='earliest',
    enable_auto_commit=True,
    group_id='meu_grupo',
    value_deserializer=json_deserializer
)

for message in consumer:
    print(f"Mensagem recebida: {message.value}")

Passos para rodar o exemplo:

1. Certifique-se de que o Kafka está rodando na sua máquina local.
2. Crie um tópico chamado meu_topico (você pode fazer isso usando a linha de comando do Kafka).
3. Execute o código do produtor para enviar uma mensagem.
4. Execute o código do consumidor para receber e imprimir a mensagem.

Espero ter ajudado. Qualquer dúvida manda aqui. Bons estudos.