2
respostas

Machine learning: Modelagem de evento raro

Boa tarde,

Minha dúvida trata sobre a utilização de machine learning em eventos raros. Nas aulas sobre o assunto as bases utilizadas possuem uma proporção de eventos de interesse considerável para modelagem, na ordem de 50% a 5% das observações, minha duvidá é se há alguma alteração no tratamento e análise para eventos com proporções pequenas, na ordem de 1% a 0,1%, o que pode ocorrer em diversos casos de interesse, como falhas de equipamentos de segurança e inadimplência de instituições financeiras.

Desde já agradeço.

2 respostas

Boa tarde, aproveitando a pergunta do colega, gostaria de saber se há uma classificação para eventos raros em análise de dados, tendo em vista que alguns eventos, como falha de equipamentos e inadimplência são, na verdade, o cenário adverso de uma situação corriqueira, nos casos, o bom funcionamento dos equipamentos e a adimplência de devedores, que refletem o cenário normal esperado. ASsim, para se achar a taxa de ambos, basta subtrair 1 da taxa de funcionamento e de adimplência.

Daí, eventos raros podem ser considerados a chegada do homem à Lua, o ataque às torres gêmeas, o rompimento da barragem de Brumadinho, ou seja, eventos que não possuem um oposto que ocorre frequentemente? Obrigado!

Olá, acabei de chegar aqui na plataforma Alura, vim direto ao fórum dar uma conferida nos tópicos da comunidade. Sobre modelagem de evento raro existe uma solução de baixo custo computacional chamada algoritmo "Isolation Forest". Ela faz a chamada detecção de anomalias (Anomaly detection) em qualquer distribuição de eventos. Deixar aqui embaixo algumas referências.

A brief overview of outlier detection: https://towardsdatascience.com/a-brief-overview-of-outlier-detection-techniques-1e0b2c19e561

Outlier detection with isolation forest: https://towardsdatascience.com/outlier-detection-with-isolation-forest-3d190448d45e

sklearn: https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.IsolationForest.html

solitude (pacote r): https://cran.r-project.org/web/packages/solitude/solitude.pdf

Quer mergulhar em tecnologia e aprendizagem?

Receba a newsletter que o nosso CEO escreve pessoalmente, com insights do mercado de trabalho, ciência e desenvolvimento de software