Solucionado (ver solução)
Solucionado
(ver solução)
1
resposta

Precisão que pode gerar interpretação equivocada

Olá.

Durante a aula, foi comentado que a precisão de 100% poderia gerar uma interpretação equivocada sobre a qualidade do modelo e o exemplo dado foi que, se todas as transações fossem classificadas como sendo fraudes, a precisão seria 100%, não refletindo a qualidade do modelo.

Porém, como que a precisão pode dar 100% se as transações normais forem todas consideradas como fraude?

Meu cálculo, considerando que todas as instâncias do dataset foram classificadas como sendo fraudes, ficou: 49/ (28432 + 49) = 0,001720445

Esse exemplo faria mais sentido se considerássemos a métrica Recall, não? Ou eu entendi errado?

Obrigada :)

1 resposta
solução!

Olá, Vivian, tudo bem?

A precisão é a métrica que avalia a porcentagem de previsões positivas que são realmente corretas, ou seja, de todos os resultados que o modelo classificou como "fraudes", quantos de fato são fraudes. Já o recall avalia a capacidade do modelo de encontrar todas as fraudes presentes no conjunto de dados. No exemplo que você mencionou, se classificarmos todas as transações como fraudes, a precisão não será 100%, mas sim muito baixa, pois a maioria das transações classificadas como fraudes não serão fraudes de verdade.

Quando a instrutora mencionou o exemplo de 100% de precisão ao classificar todas as transações como fraudes, o que ela quis dizer é que, se o modelo não cometeu nenhum erro ao classificar as fraudes, a precisão seria 100%. Porém, esse valor pode ser enganoso, pois, como você observou, o modelo está classificando erroneamente todas as transações normais como fraudes, afetando o recall.

Se classificarmos todas as transações como fraudes, certamente todas as fraudes reais estarão dentro desse grupo, resultando em um recall de 100%. No entanto, isso não significa que o modelo é bom, pois ele estaria classificando incorretamente muitas transações legítimas como fraudes.

Então sim, o exemplo dado na aula realmente faz mais sentido quando falamos de recall, e não de precisão. A precisão seria baixa nesse caso, pois muitas transações classificadas como fraudes não seriam fraudes reais.

Obrigada por levantar essa questão e espero ter esclarecido sua dúvida!

Abraços e bons estudos!

Caso este post tenha lhe ajudado, por favor, marcar como solucionado