Solucionado
Depois de refatorar o código, quando eu fui testar ficou parecendo muito que o Has Exit Time das animacoes do jogador ainda estavam ligados, isso porque quando eu andava e depois parava de andar, ele tinha um delay pra ficar parado, o que me lembrou do Has Exit Time, mas eu cheque e eles estao desligados.
Oi, Guilherme, tudo bem?
Pode ser também o Input.GetAxis que é bem suave ele vai fazendo uma transição então demora um pouco. Tenta mudar pra Input.GetAxisRaw que iria direto de 0 pra 1 ou -1.
Muito obrigado Henrique! Ficou bem melhor com o Input.GetAxisRaw!