Falta pouco!

0 dias

0 horas

0 min

0 seg

0
respostas

[Dúvida] Segmentação de tokens

Na explicação foi falado que o a palvra aprender foi segmentada em "aprend" e "er", ele faz isso para criar um token para entender o tempo verbal?
Ele utiliza sempre essa estratégia ou tenta usar ou depende do modelo?
E em casos específicos, tipo Comer, ele separa em "com" e "er"? E se sim ele pode se perder no sentido de "com" (uma segmentação de comer e a definição com, de estar junto de)ou ele faz uma ligação forte entre "com" e "er", fazendo com que ele não caia nesse erro?