Oii, Thiago! Tudo bem?
Isso pode ocorrer porque a velocidade alta do personagem pode estar afetando a colisão, ele está se movendo tão rápido que o sistema de física do Unity não consegue detectar.
Uma possível solução é ajustar a velocidade para ter colisão, ou ajustar as configurações de física do Unity. Por exemplo, aumentar a precisão das colisões ajustando o valor da propriedade Default Solver Iterations
no componente Physics Manager
do Unity, experimente aumentar esse valor para um número maior.
Outro ponto importante é checar se os objetos do cenário possuem colisores para interagir com o personagem.
Espero que as sugestões te ajude. Continue interagindo no fórum compartilhando suas dúvidas, projetos e sugestões.
Bons estudos, Thiago!