3
respostas

Palavra inteira - token

Olá, estou estudando para desenvolver um chat bot para o trabalho.

Poderia atribuir o valor de um token para uma palavra ou expressão inteira?

Garanta sua matrícula hoje e ganhe + 2 meses grátis

Continue sua jornada tech com ainda mais tempo para aprender e evoluir

Quero aproveitar agora
3 respostas

Oi, Igor! Tudo bem?

Sim, você pode atribuir o valor de um token para uma palavra ou expressão inteira. Na aula, vimos que um token pode ser uma palavra inteira, parte de uma palavra ou até mesmo um caractere, dependendo do algoritmo de tokenização utilizado.

Veja este exemplo:


// Exemplo de tokenização simples em JavaScript
function tokenizar(texto) {
  return texto.split(/\s+/); // Divide o texto em palavras usando espaços como separadores
}

let texto = "Olá, mundo! Este é um exemplo.";
let tokens = tokenizar(texto);
console.log(tokens);
// Resultado: ["Olá,", "mundo!", "Este", "é", "um", "exemplo."]

Neste código:

  • A função tokenizar divide o texto em palavras usando espaços como separadores.
  • Cada palavra é considerada um token.

Para expressões inteiras, você pode ajustar o separador na função split() para incluir outros caracteres além de espaços, como vírgulas e pontos.

Espero ter ajudado. Conte com o apoio do Fórum na sua jornada. Fico à disposição.

Abraços e bons estudos!

Caso este post tenha lhe ajudado, por favor, marcar como solucionado

Top demais esse assunto!

Boa tarde!
Um exemplo no python seria:

# Dicionário de mapeamento: expressão -> token único
mapeamento = {
    "bom dia": "<BOM_DIA>",
    "quero fazer um pedido": "<FAZER_PEDIDO>",
    "obrigado": "<AGRADECIMENTO>"
}

def preprocessar_texto(texto_usuario):
    texto_processado = texto_usuario.lower()
    for expressao, token in mapeamento.items():
        if expressao in texto_processado:
            texto_processado = texto_processado.replace(expressao, token)
    return texto_processado

# Exemplo de uso
entrada = "Bom dia, quero fazer um pedido"
saida = preprocessar_texto(entrada)

print("Entrada original:", entrada)
print("Texto processado:", saída)
Entrada original: Bom dia, quero fazer um pedido
Texto processado: <BOM_DIA>, <FAZER_PEDIDO>