Olá, estou estudando para desenvolver um chat bot para o trabalho.
Poderia atribuir o valor de um token para uma palavra ou expressão inteira?
Olá, estou estudando para desenvolver um chat bot para o trabalho.
Poderia atribuir o valor de um token para uma palavra ou expressão inteira?
Oi, Igor! Tudo bem?
Sim, você pode atribuir o valor de um token para uma palavra ou expressão inteira. Na aula, vimos que um token pode ser uma palavra inteira, parte de uma palavra ou até mesmo um caractere, dependendo do algoritmo de tokenização utilizado.
Veja este exemplo:
// Exemplo de tokenização simples em JavaScript
function tokenizar(texto) {
return texto.split(/\s+/); // Divide o texto em palavras usando espaços como separadores
}
let texto = "Olá, mundo! Este é um exemplo.";
let tokens = tokenizar(texto);
console.log(tokens);
// Resultado: ["Olá,", "mundo!", "Este", "é", "um", "exemplo."]
Neste código:
tokenizar
divide o texto em palavras usando espaços como separadores.Para expressões inteiras, você pode ajustar o separador na função split()
para incluir outros caracteres além de espaços, como vírgulas e pontos.
Espero ter ajudado. Conte com o apoio do Fórum na sua jornada. Fico à disposição.
Abraços e bons estudos!
Top demais esse assunto!
Boa tarde!
Um exemplo no python seria:
# Dicionário de mapeamento: expressão -> token único
mapeamento = {
"bom dia": "<BOM_DIA>",
"quero fazer um pedido": "<FAZER_PEDIDO>",
"obrigado": "<AGRADECIMENTO>"
}
def preprocessar_texto(texto_usuario):
texto_processado = texto_usuario.lower()
for expressao, token in mapeamento.items():
if expressao in texto_processado:
texto_processado = texto_processado.replace(expressao, token)
return texto_processado
# Exemplo de uso
entrada = "Bom dia, quero fazer um pedido"
saida = preprocessar_texto(entrada)
print("Entrada original:", entrada)
print("Texto processado:", saída)
Entrada original: Bom dia, quero fazer um pedido
Texto processado: <BOM_DIA>, <FAZER_PEDIDO>