1
resposta

Por que fazer o tratamento dos dados todas as vezes com Pipeline?

Quando se dá um fit e transform com o scaler no x_azar, já estou escalando todos os dados, certo? Por que há a necessidade de reescalar em treino e teste toda vez que o algoritmo é executado?

Voltando ao exemplo anterior - com DecisionTree, teria algum caso em que seria melhor eu trabalhar com o pipeline ao invés de apenas fazer o tratamento dos dados apenas em todo o dataset e assim aplicar o cross validate?

Por exemplo, no caso de ter uma coluna de sexo com 'M' e 'F' e faço:

novo_x = pd.get_dummies(x, columns=['genero'], drop_first=True)

Isso teria impacto na acurácia do meu modelo caso não execute essa transformação dos dados dentro de um Pipeline?

1 resposta

Olá Luiz.

Nesse tópico detalho os motivos de termos que incluir StandardScaler no Pipeline.

E entendo que em uma situação onde temos apenas uma característica e ela é binaria, como o gênero, masculino e feminino, não faça sentindo incluir essa etapa no pipeline.

Bons Estudos.