Ótima pergunta Vinicius.
Realmente, esse um ponto que requer a atenção de quem está fazendo o desenvolvimento do modelo e pode fazer toda a diferença no resultado.
Para começar, é bem comum chamarmos o processo de tratamento de categorias de categorização. Durante esse processo, vamos nos preocupar em criar variáveis a partir das variáveis categóricas ou através das próprias variáveis contínuas (ex: você pode converter uma variável contínua de 0 a 1000 em dois valores: x > 900 = 1 ou 0). Sempre entregando para o modelo números de alguma forma.
Você está correto na sua interpretação, para os algoritmos que aplicamos, 1 é sempre maior que zero, que é menor que 2 e assim por diante. No entanto, se isso vai te atrapalhar ou não, vai depender do tipo de técnica que você está aplicando. Técnicas como Regressão Linear, ou baseadas em árvore de decisão, por exemplo, podem ter resultados muito diferentes. Te aconselho a verificar como uma árvore de decisão é construída e você vai notar que, mesmo um número estando em sequência, ela pode verificar número a número, fazendo com que a ordenação não importe.
Uma das soluções para tratar isso e forçar o comportamento que você quer, é realmente o get_dummies. E quando você tem muitos valores únicos, você pode criar variáveis para os que considera mais importantes. Imagine uma liste de 1000 produtos, mas você acredita que o produto mais importante para uma predição é o produto A, você pode criar uma variável do tipo dummie A = Verdadeiro ou Falso, cada linha vai falar se aquele produtos, é o produto A ou não. Você pode fazer isso para quantos produtos quiser, e talvez ter 20 colunas dummies, ao invés de 1000.
Espero ter ajudado!