Meu personagem começa a tremer e girar quando coloco o cursor em cima dele

Deixei o raio para o jogador seguir e se movimentar junto, mas quando aproximo o cursos e deixo em cima dele ele começa a girar loucamente

Vou deixar aqui em baixo o código: 

using System.Collections; using System.Collections.Generic; using UnityEngine;

public class ControlaJogador : MonoBehaviour {

public float Velocidade = 10;
Vector3 direcao;
public LayerMask MascaraChao;

// Update is called once per frame
void Update () {
    //Inputs do Jogador - Guardando teclas apertadas
    float eixoX = Input.GetAxis("Horizontal");
    float eixoZ = Input.GetAxis("Vertical");

    direcao = new Vector3(eixoX, 0, eixoZ);

    //Animações do Jogador
    if(direcao != Vector3.zero)
    {
        GetComponent<Animator>().SetBool("Movendo", true);

    }
    else {

        GetComponent<Animator>().SetBool("Movendo", false);

    }
}

void FixedUpdate() {
//Movimentação do Jogador por segundo
GetComponent<Rigidbody>().MovePosition
    (GetComponent<Rigidbody>().position + 
   (direcao * Velocidade * Time.deltaTime));

Ray raio = Camera.main.ScreenPointToRay(Input.mousePosition);
Debug.DrawRay(raio.origin, raio.direction * 100, Color.red);

RaycastHit impacto;

if(Physics.Raycast(raio, out impacto, 100, MascaraChao)) {

    Vector3 posicaoMiraJogador  = impacto.point - transform.position;
    posicaoMiraJogador.y = transform.position.y;

    Quaternion novaRotacao = Quaternion.LookRotation(posicaoMiraJogador);

    GetComponent<Rigidbody>().MoveRotation(novaRotacao);


}




}

}

`