Olá, gostaria de deixar um método em que o processamento é mais rápido e de um modo que faz mais sentido ao usar o pandas:
df['tratamento_1'] = df['text_pt'].apply(lambda linha : ' '.join(palavra for palavra in linha.split() if palavra.lower() not in stop_words) )
Para cada linha é feito um split()
, assim podemos usar uma list comprehension para selecionar apenas os itens que não estão nas stop_words
, e retornar tudo em uma frase novamente com o ' '.join()
.