Pra resolver isso, coloquei uma massa alta no meu personagem, mas parece errado. O código é o seguinte

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class Player : MonoBehaviour
{
    public float playerSpeed;
    private Rigidbody _rigidbody;
    private Animator _animator;
    float movHor, movVer;
    void Start()
    {
        _animator = gameObject.GetComponent<Animator>();
        _rigidbody = gameObject.GetComponent<Rigidbody>();
    }
    void Update()
    {
        movHor = Input.GetAxis("Horizontal");
        movVer = Input.GetAxis("Vertical");

        if (movHor != 0f || movVer != 0f)
        {
            isWalking(true);
        }
        else
        {
            isWalking(false);
        }
    }
    public void isWalking(bool isWalking)
    {
        _animator.SetBool("isWalking", isWalking);
    }
    void FixedUpdate()
    {
        _rigidbody.MovePosition(_rigidbody.position + (new Vector3(-movHor, 0, -movVer) * playerSpeed * Time.deltaTime));

    }
}