1
resposta

[Dúvida] Stack para observabilidade

Claro, aqui está uma melhoria na mensagem:

"Olá pessoal, bom dia, boa tarde ou boa noite, tudo bem?

Estou envolvido em um projeto cujo objetivo é estabelecer uma plataforma de observabilidade. Inicialmente, estamos focados na ingestão de logs de aplicações que lidam com grande volume de dados, como Azure Data Factory, Databricks e APIs específicas desenvolvidas para o tratamento de dados. Atualmente, esses logs estão sendo direcionados para um Event Hub no Azure, onde planejamos coletá-los para nossa observabilidade.

Nossa pilha atual inclui o Grafana Alloy para coleta e instrumentação básica desses logs (sem o OpenTelemetry), o Grafana Loki para a persistência dos metadados e o Grafana para visualização. No entanto, percebo que poderíamos estar implementando mais recursos para obter uma observabilidade mais abrangente. Algo que nos forneça mais métricas de forma simplificada e que também nos permita trabalhar com traces no futuro, pois atualmente estamos limitados ao LogQL para visualização de métricas que são geradas a partir dos logs.

Gostaria de saber quais outras ferramentas ou aplicações poderíamos utilizar, considerando nosso cenário específico. Existem métodos melhores para instrumentar os logs armazenados no Loki? Há algum recurso adicional que podemos explorar no Grafana Alloy?"

1 resposta

Oii, Leandro, tudo bem?

Há algumas ferramentas diferentes que você pode usar. São elas:

  • OpenTelemetry: você mencionou trabalhar com traces no futuro, o OpenTelemetry é uma boa escolha. Ele é uma ferramenta para coleta de logs, métricas e traces, e pode ser integrado com o Grafana para visualização. Você consegue ter uma visão mais completa do comportamento das suas aplicações.

  • Prometheus: para a coleta de métricas, o Prometheus se integra bem com o Grafana e pode coletar uma alta gama de métricas de diferentes fontes.

  • Jaeger: para tracing distribuído, o Jaeger é uma ótima opção. Ele pode ser integrado com o OpenTelemetry para coletar e visualizar traces. Isso te permite identificar gargalos e entender melhor o fluxo de suas aplicações.

  • Fluentd: para a ingestão de logs, o Fluentd pode ser uma boa adição à sua stack. Ele é bem configurável e pode ser usado para coletar, transformar e enviar logs para diferentes destinos, incluindo o Grafana Loki.

  • Kibana e Elasticsearch: embora você já esteja utilizando o Grafana Loki para logs, o Elasticsearch junto com o Kibana pode ser uma alternativa ou complemento. O Elasticsearch é excelente para armazenar e pesquisar logs, enquanto o Kibana oferece visualizações poderosas.

Se outra dúvida surgir, estamos aqui.

Abraços!

Caso este post tenha lhe ajudado, por favor, marcar como solucionado ✓.