Entrar Ainda não tem acesso?
Solucionado (ver solução)
Solucionado
(ver solução)
2
respostas

Combinação de Random Search e Grid Search para otimização de hiperparâmetros

Referente ao curso Classificação: melhorando o desempenho com XGBoost, no capítulo Ajustando hiperparâmetros do XGBoost e atividade Para saber mais: Random Search X Grid Search

por Carlos Virgílio Beltrão Lessa
| 57.2k xp | 38 posts

Olá a todos!

Estudando as técnicas de otimização de hiperparâmetros, me deparei com o texto explicativo sobre Random Search e Grid Search.

Entendi as vantagens e desvantagens de cada uma:

  • Random Search: Mais eficiente para espaços grandes, mas pode perder regiões promissoras.
  • Grid Search: Exaustivo e preciso dentro do espaço definido, mas caro para grades amplas.

Minha dúvida é: Seria uma boa prática combinar as duas técnicas?

Por exemplo:

  1. Primeiro, usar RandomizedSearchCV com um número moderado de iterações (n_iter) para explorar um espaço amplo de hiperparâmetros e identificar regiões promissoras.
  2. Em seguida, usar GridSearchCV em uma grade mais refinada e focada nas regiões próximas aos melhores resultados encontrados pelo Random Search.

Será que isso poderia oferecer um bom equilíbrio entre eficiência (exploração inicial) e precisão (busca local refinada), economizando tempo computacional em comparação com rodar um Grid Search extenso logo de cara?

Alguém já utilizou ou viu essa abordagem?
Obrigado!

2 respostas
solução!
por Rafaela Petelin Silvério
| 1159.4k xp | 2591 posts
Alura Scuba Team

Oi, Carlos! Como vai?

Combinar Random Search e Grid Search faz sentido, sim. A lógica é usar o Random Search para explorar rapidamente um espaço amplo de hiperparâmetros e identificar regiões promissoras. Depois, aplicar o Grid Search apenas em torno desses valores mais interessantes, fazendo uma busca mais refinada.

Isso traz duas vantagens:

  • Eficiência: evita gastar muito tempo com grades enormes.
  • Precisão: foca nos pontos realmente relevantes, aumentando as chances de achar combinações ideais.

Essa abordagem é usada na prática quando o espaço é grande e o tempo é limitado. Se o espaço de parâmetros for pequeno, um Grid direto já basta.

Portanto, sua ideia está correta e é uma estratégia bem equilibrada entre exploração inicial e ajuste fino.

Espero ter ajudado. Conte com o apoio do Fórum na sua jornada. Fico à disposição.

Abraços e bons estudos!

Caso este post tenha lhe ajudado, por favor, marcar como solucionado
por Carlos Virgílio Beltrão Lessa
| 57.2k xp | 38 posts

Obrigado pela explicação, Rafaela!

Ficou bem claro e vou adotar essa estratégia de explorar com Random Search e depois refinar com Grid (a depender do tamanho dos dados).