Eu tinha por costume separa o dataset em train, val (optimização de hiperparâmetros), e teste.
No caso se usar qualquer técnica de Cross Validation, mina a necessidade de haver um conjunto de validação. Quais as vantagens e desvantagens entre estas duas abordagens?
Oi Alison, tudo bem?
Não sei se entendi corretamente a pergunta, mas o objetivo da validação cruzada é termos um teste mais robusto do modelo, pois ao invés de termos um único conjunto de dados de testes, teremos múltiplos subconjuntos.
Esta estratégia expõe o modelos a mais conjuntos de dados não vistos durante o treinamento e as métricas de avaliação podem ser calculadas para cada iteração dos testes, e ao final obtermos uma média de todas avaliações
Com esta técnica podemos ter uma melhor avaliação de como o modelo deve se comportar quando exposto aos dados nunca vistos, quando colocado em produção.
Espero ter ajudado.
=)