Como não sou da área de Machine Learning e, ou, estátistica, fiquei com uma dúvida sobre a técnica de Cross Validation, nos dois cursos de ML do Spark que passei, percebi que o Cross Validation foi utilizado apenas nas árvores de decisão e Random Forest.
Dai minha dúvida, essa técnica não é utilizada no modelo de Regressão Linear e Regressão Logística?
Oi Flávio,
Sim, a técnica de cross-validation pode ser usada para modelos de regressão. A cross-validation é uma abordagem comum para avaliar o desempenho de modelos de regressão, assim como é usada para modelos de classificação. Ela é uma técnica fundamental para estimar o desempenho de um modelo em dados não vistos e ajudar a evitar problemas de overfitting ou underfitting.
A ideia básica por trás da cross-validation é dividir o conjunto de dados em várias partes e, em seguida, treinar e testar o modelo em diferentes combinações dessas partes. O objetivo é obter uma estimativa mais robusta do desempenho do modelo em dados não vistos. Os tipos mais comuns de cross-validation usados para modelos de regressão incluem:
K-Fold Cross-Validation: Neste método, o conjunto de dados é dividido em k partes iguais (chamadas "dobras"). O modelo é treinado em k-1 dobras e testado na dobra restante. Esse processo é repetido k vezes, de forma que cada dobra seja usada como conjunto de teste exatamente uma vez. Os resultados são então médios para obter uma métrica de desempenho final.
Leave-One-Out Cross-Validation (LOOCV): Neste método, cada observação é usada como conjunto de teste exatamente uma vez, enquanto as demais observações são usadas para treinamento. Isso é feito para todas as observações, e os resultados são médios. LOOCV é útil quando você tem um pequeno conjunto de dados.
Stratified K-Fold Cross-Validation: Esta variação da K-Fold Cross-Validation é usada quando você deseja garantir que a distribuição das classes/targets seja preservada em cada dobra. É especialmente útil quando você está lidando com conjuntos de dados desbalanceados.
Time Series Cross-Validation: Se você estiver trabalhando com dados de séries temporais, pode usar uma variação da cross-validation que leva em consideração a ordem temporal dos dados. Exemplos incluem a Validação Cruzada de Séries Temporais (Time Series Cross-Validation) e a Validação Cruzada Espacial (Spatial Cross-Validation) para dados espaciais.
Ao usar cross-validation em modelos de regressão, você pode obter uma avaliação mais realista do desempenho do seu modelo em dados desconhecidos, ajudando a evitar overfitting ou underfitting. Isso ajuda a tomar decisões mais informadas sobre a escolha do modelo e dos hiperparâmetros, além de entender a variabilidade do desempenho do modelo em diferentes subconjuntos de dados.
Espero ter ajudado e bons estudos