Entrar Ainda não tem acesso?
Solucionado (ver solução)
Solucionado
(ver solução)
1
resposta

Accuracy com Cross_Validate

Referente ao curso Machine Learning: validação de modelos, no capítulo Validação cruzada e aleatoriedade inicial e atividade Usando e avaliando com o cross validate

por Lucas Sampaio praciano
| 146.3k xp | 4 posts

Estou realizando a validação de um modelo com dados próprios. Realizei a cross_validate com cv=10 e fiz o cálculo dos 2 desvios padrões para cima e dois desvios padrões para baixo. Estranhamente o meu valor para cima ficou acima de 100%. Como isso é possível, é correto ...?

Array dos resultados do Cross_Validate...

resultados['test_score']

array([0.9567582 , 0.99866251, 0.99928667, 0.90182791, 0.999465 , 1. , 1. , 0.99937584, 0.99652251, 0.99759251])

print("Accuracy com Cross_Validate, 10 = [%.5f, %.5f] " % (media - 2 * desvio_padrao, media + 2 * desvio_padrao))

Accuracy com Cross_Validate, 10 = [0.92408, 1.04582]

1 resposta
solução!
por Bruno Raphaell
| 366.6k xp | 449 posts
Scuba Team

Olá, Lucas! Tudo tranquilo por aí?

O intervalo de confiança que você encontrou sugere que o valor real da acurácia está entre [0.92408, 1.04582]. Mas isso não significa que sua acurácia passará de 100%, porque já sabemos que o valor máximo da acurácia é 1. A operação que você realizou subtraindo 2 desvios-padrão e somando 2 desvios-padrão não levam em consideração os valores limites da acurácia de 0 para o mínimo e 1 para o máximo, portanto é totalmente possível que o intervalo de confiança extrapole esses valores.

Logo, no caso da acurácia, precisa ser avaliado que, apesar de o intervalo de confiança extrapolar o valor de 1, a acurácia tem um limite máximo e esse será o limite superior do intervalo caso seja extrapolado, tornando assim o intervalo de confiança de [0.92408,1]

Espero ter ajudado, mas se ainda persistir alguma dúvida estou sempre à disposição.

:)

Caso este post tenha lhe ajudado, por favor, marcar como solucionado ✓.Bons Estudos!