Pelo o que eu entendi, o tokenize faz a mesma coisa que o método split. Isto é, separar uma string tendo como base algum marcados. No caso, o espaço.
Por que, então, não usar logo o split, que já vem com o Python?
Solucionado
Pelo o que eu entendi, o tokenize faz a mesma coisa que o método split. Isto é, separar uma string tendo como base algum marcados. No caso, o espaço.
Por que, então, não usar logo o split, que já vem com o Python?
O tokenize é um split com mais termos de separação, isto é, além de separar por espaço, ele também separa por vírgula e outros caracteres não alfabéticos. Em termos de resultados seria como fazer splits alinhados, mas é melhor usar uma ferramenta mais adequada.