Olá, pessoal!
Na aula, notei que todos os exemplos de classificação com Stacking utilizaram a regressão logística como modelo final (meta-learner). Gostaria de saber se isso é uma boa prática geral ou se há alguma recomendação específica para essa escolha. Existe algum motivo teórico ou empírico para usar a regressão logística como modelo final, ou poderíamos utilizar outros modelos também?
Agradeço desde já pelas contribuições!
Olá, Carlos, tudo bem?
A escolha da regressão logística como modelo final (ou meta-learner) em um ensemble de Stacking é comum e tem suas razões. A regressão logística é um modelo linear que é capaz de capturar interações entre as previsões dos modelos base. Ela é frequentemente escolhida porque é simples, rápida de treinar e tende a funcionar bem como um agregador de previsões, principalmente quando os modelos base são mais complexos e não lineares.
Mas, não há uma regra rígida que diga que você deve sempre usar a regressão logística. Dependendo do problema e dos dados, outros modelos podem ser mais adequados como meta-learners. Por exemplo, você poderia usar um modelo de árvore de decisão ou até mesmo um modelo mais complexo como um Random Forest ou uma rede neural, dependendo da complexidade dos dados e do tempo de computação disponível.
A escolha do meta-learner pode ser feita com base em experimentação e validação cruzada para ver qual modelo oferece o melhor desempenho nos seus dados específicos. Em alguns casos, a regressão logística pode ser suficiente, mas em outros, um modelo mais complexo pode capturar melhor as nuances das previsões dos modelos base.
Espero ter ajudado.
Qualquer dúvida que surgir, compartilhe no fórum. Abraços e bons estudos!
Obrigado, Monalisa!
Pesquisei sobre as saídas que alimentam o meta-learner no Stacking e encontrei que, embora seja possível usar apenas as classes previstas (hard predictions), a prática mais comum é utilizar as probabilidades de classe (soft predictions) como novas features. Isso dá ao modelo final informações mais ricas e contínuas, permitindo que ele aprenda a combinar as incertezas de cada modelo base. Isso ajuda a explicar também por que a regressão logística é tão usada como meta-learner: ela consegue combinar essas probabilidades de forma linear, simples e eficiente.