Solucionado (ver solução)
Solucionado
(ver solução)
1
resposta

avaliando a árvore de decisão: medindo além da acuracia.

olá. Na aula 'medindo além da acurácia, a professora fala sobre a precisão e a revocação, mas acredito que ela tenha invertido a maneira como as duas métricas são calculadas, levando em consideração os seguintes livros: "mão a obra: aprendizado de máquina com scikit_learn, keras e tensorflow" e "estatística prática para cientistas de dados", os dois demostram que a precisão é calculada como (soma dos positivo verdadeiros / soma dos positivos verdadeiros + soma dos falsos positivos) e a revocação é (soma dos positivo verdadeiros / soma dos positivo verdadeiros + falso negativo)Insira aqui a descrição dessa imagem para ajudar na acessibilidade

a precisão seria a marca em azul e a revocação a em vermelho.

1 resposta
solução!

Olá, Luiz! Tudo bem com você?

Você está correto em suas afirmações. De fato a precisão é calculada como:

precisão = TP / (TP + FP)

E a revogação, também chamada de recall, é calculada da seguinte forma:

recall = TP / (TP + FN)

Onde:

  • Verdadeiro Negativo (TN - True negative): O modelo previu como negativo e isto é verdade.
  • Falso positivo (FP - False positive): O modelo previu como positico e isto é falso.
  • Falso negativo (FN - False negative): O modelo previu como negativo e isto é falso.
  • Verdadeiro positivo (TP - True Positive): O modelo previu como positivo e isto é verdade.

Se fossémos analisar de acordo com a matriz de confusão gerada pela sklearn teríamos exatamente o que você marcou como vermelho (revogação) e azul (precisão). Então você está correto.

Analisando a matriz de confusão abaixo teríamos que:

alt text: Matriz de confusão com 2 linhas e 2 colunas. As linhas representam os valores verdadeiros, enquanto as colunas representam os valores previstos. A primeira linha representa a quantidade 0 reais. A segunda linha representa a quantidade 1 reais. A primeira coluna representa a quantidade prevista de 0. A segunda coluna representa a quantidade prevista de 1. Na linha 1, coluna 1 está o valor 27669. Na linha 1, coluna 2 está o valor 4. Na linha 2, coluna 1 está o valor 8. Por fim, a linha 2, coluna 2 está o valor 41.

A precisão:

precisão = TP / (TP + FP)

precisão = 41 / (41 + 4) = 0.911

Calculando o recall (revogação) teríamos:

recall = TP / (TP + FN)

recall = 41 / (41 + 8) = 0.837

Plotando somente o array, como está na imagem mostrada por você e durante o curso, fica mais difícil de analisar, gosto sempre de plotar a matriz completa de forma gráfica. Felizmente o sklearn fornece um método que plota essa matriz de forma bem fácil: ConfusionMatrixDisplay.

Outro detalhe é que seus resultados plotando a matriz de confusão podem divergir dos resultados apresentados no curso devido a falta do parâmetro random_state em alguns métodos.

Espero ter ajudado, mas se ainda persistir alguma dúvida estou sempre à disposição.

:)

Caso este post tenha lhe ajudado, por favor, marcar como solucionado ✓.Bons Estudos!