Predição com modelos treinados por validação cruzada

Boa tarde Vinicius,

Pelo que entendo de validação cruzada, o objetivo é você encontrar a melhor divisão treino/teste da sua base de dados, que uma vez treinado, o modelo encontra pesos (no caso de uma rede neural) que melhor generalizem seus dados. Logo, se você já selecionou o melhor modelo, agora basta você utilizá-lo para as próximas predições.

Eu estou usando oversampling para nas amostras, então percebi que isso que estava dando divergência no intervalo de confiança na predição de novos dados, então, para corrigir, estou treinando o modelo com o upsampling dentro do pipeline usando make_pipeline do imblearn:

from imblearn.pipeline import make_pipeline

pelo o que pesquisei, fazer isso traz uma visão otimista demais para o modelo; para quem se interessar eu peguei o conteúdo desse link: https://kiwidamien.github.io/how-to-do-cross-validation-when-upsampling-data.html

Se alguém tiver mais conhecimentos sobre isso e quiser compartilhar... :)