1
resposta

[Dúvida] Biblioteca para Automação

Boa tarde Professor!

Primeiramente meus parabéns pelas aulas, foram excelêntes e elucidaram todas as minhas dúvidas material de altíssima qualidade.

Nesse mesmo sentido, estou tentando aplicar este algorítmo aqui no meu trabalho, no entanto prevejo problemas de performance, já que minha base de dados tem mais de 1 milhão de linhas.

Nesse cenário estou procurando alguma biblioteca que faça o mesmo trabalho de forma mais automatizada e eficiênte, me deparei com o sklearn com a função NearestNeighbors porém ao comparar os resultados percebi uma diferença enorme.

Nesse sentido peço vossa orientação sobre a existência de alguma biblioteca que atue de forma semelhante e que viabilize colocarmos em produção tal algoritmo de uma forma masseificada. Nesse mesmo cenário aceito sugestões de algum outro curso aqui dentro da plataforma que fale sobre o assunto.

Mais uma vez muitíssimo obrigado pela vossa orientação.

Uma ótima tarde a todos.

1 resposta

Olá Wesley, tudo bem?

Fico feliz em saber que você está gostando das aulas e que elas têm sido úteis para você. Obrigado pelo feedback!

Para bases de dados grandes, uma alternativa interessante é a MLlib do Spark, uma biblioteca projetada para trabalhar com Machine Learning em larga escala. Ela pode atender bem ao seu cenário, onde a performance é uma preocupação. Se quiser se aprofundar, recomendo o curso Databricks: criando um sistema de recomendação.

Outra possibilidade é recorrer a bibliotecas especializadas em busca de vizinhos aproximados, como a Faiss e Annoy:

Conteúdos relacionados

Espero ter ajudado.

Qualquer dúvida que surgir, compartilhe no fórum. Abraços e bons estudos!

Caso este post tenha lhe ajudado, por favor, marcar como solucionado ✓. Bons Estudos!