Baseline, otimização e overfitting. | Machine Learning parte 2: otimização com exploração aleatória

Percebo que ao longo dos testes, a acurácia, mesmo que de maneira não muito significativa, vai diminuindo.

Essa otimização é em relação ao overfitting ou à acurácia?

Um exemplo real:

Supondo que a acurácia média de um radiologista para diagnóstico de pneumonia em imagem de raio-x é de 84% (baseline).

Um profissional de TI desenvolve uma solução e encontra um valor igual ao superior ao do especialista, ou seja, 84%.

O valor, porém, foi alcançado, conforme as técnicas empregadas mais lá atrás somente com train_test_split, naquela abordagem em que se separa o conjunto em 3 partes para testar com valores que o estimador nunca viu antes e usando o SVC.

O profissional de TI já poderia considerar a solução dele como válida? Ou teria que fazer todos esses ensaios incluindo cross validation, utilizando outros estimadores, além de estratégias de otimização de hiperparâmetros para tentar obter valores melhores?

Oii Franco, tudo certinho por ai? Espero que sim!

Desculpa a demora em te dar um retorno por aqui.

Essa otimização é em relação à acurácia, quanto mais dados temos melhor nosso modelo vai ficando, vou continuar minha explicação utilizando o seu exemplo. Em casos como esse que você citou, temos o baseline ou growth through, que são as classificações corretas de cada imagem, e quando fazemos um modelo para auxilio de diagnóstico ele precisa de milhares de imagens de treino e validação e depois precisamos de mais imagens, é muito comum os cientistas de dados e pesquisadores usarem outros datasets de raio-x de pulmão com pneumonia e normal, para que o algoritmo consiga classificar e tenhamos como ele seria no mundo real, ou seja a etapa de testes.

Então temos que todas as etapas, treino, validação e teste, precisam ter imagens de raio-x de pulmões normais e com pneumonia, quanto mais imagens ele tiver, muito provavelmente o modelo vai ser melhor, mas entra em outra parte, onde temos o custo computacional, já que um conglomerado de imagens médicas tem um tamanho muito grande e precisam de muito tempo de processamento, e não só isso, mas precisa de uma máquina que consiga processar isso tudo. Otimizar hiperparâmetros, fazer cross validation, transfer learning, entre outras técnicas, servem para que sejam obtidos melhores resultados, 84% de acurácia é um valor bom mas em termos de medicina, quanto mais preciso, melhor!

Espero que tenha sanado a sua dúvida, mas qualquer outro questionamento, estou por aqui, ok?

Bons estudos ^^

Caso este post tenha lhe ajudado, por favor, marcar como solucionado ✓. Bons Estudos!