No curso "Regressão: aprimorando os resultados com XGBoost", é utilizada na aula 3, item 04 a validação cruzada. No exercício a instrutora utiliza o seguinte código baixo:
params = {'objective': 'reg:squarederror'}
cv_resultados = xgb.cv(dtrain=dtreino, params=params, nfold=5, num_boost_round=1000,
early_stopping_rounds=10, metrics='rmse', as_pandas=True, seed=4789)
cv_resultados
Notar que se vai haver validação cruzada em em X folds, para ser possível fazer a validação, o conjunto utilizado no parâmetro dtrain NÃO deveria ser somente o dtreino, mas o dtreino + dteste, ou seja, a matriz D para o conjunto todo de dados, pois, a partir desse conjunto, é que haverá a divisão em X folds.
*Importante observar que esse procedimento é repetido em outras partes do curso.
Observar que na aula 4, item 02 pode-se observar no código abaixo:
from sklearn.model_selection import GridSearchCV
import numpy as np
param_grid = {
'colsample_bytree': [0.6, 1], # Define quantas colunas, featuras serão consideradas
'subsample': [0.5, 0.8, 1], # Número de linhas (amostras) que serão utilizadas
'max_depth': [3, 5, 10],
'learning_rate': [0.1,0.2,0.3]
}
gbm = xgb.XGBRegressor(enable_categorical=True)
grid = GridSearchCV(
estimator = gbm,
param_grid = param_grid,
scoring = 'neg_mean_squared_error',
cv = 5,
verbose = 1
)
grid.fit(X, y)
print('Melhores hiperparâmetros encontrados: ', grid.best_params_)
print('Menor RMSE encontrado: ', np.sqrt(np.abs(grid.best_score_)))
Nota-se no código acima que aqui também tem validação cruzada e são utilizados todos os dados e não somente os de treinamento.
