Bom dia!!
Estou com um problema... treinei um modelo por validação cruzada usando RandomizedSearchCV e pegando o melhor modelo, testei com cross_val_score, mas e agora qual a melhor forma de prever novos valores? alguém tem recomendações de conteúdos sobre isso?
Boa tarde Vinicius,
Pelo que entendo de validação cruzada, o objetivo é você encontrar a melhor divisão treino/teste da sua base de dados, que uma vez treinado, o modelo encontra pesos (no caso de uma rede neural) que melhor generalizem seus dados. Logo, se você já selecionou o melhor modelo, agora basta você utilizá-lo para as próximas predições.
Eu estou usando oversampling para nas amostras, então percebi que isso que estava dando divergência no intervalo de confiança na predição de novos dados, então, para corrigir, estou treinando o modelo com o upsampling dentro do pipeline usando make_pipeline do imblearn:
from imblearn.pipeline import make_pipelinepelo o que pesquisei, fazer isso traz uma visão otimista demais para o modelo; para quem se interessar eu peguei o conteúdo desse link: https://kiwidamien.github.io/how-to-do-cross-validation-when-upsampling-data.html
Se alguém tiver mais conhecimentos sobre isso e quiser compartilhar... :)