Olá, tudo bem?
Você teria que mudar um pouco esse esquema de rotação porque da forma que está só vai funcionar com o mouse mesmo.
Acredito que você possa fazer algo como:
float x = Input.GetAxis("Input Xbox X aqui vai o nome que você vai dar");
float y = Input.GetAxis("Input Xbox X aqui vai o nome que você vai dar");
if (x != 0 || y != 0) {
float angle = Mathf.Atan2(y, x) * Mathf.Rad2Deg;
transform.eulerAngles = new Vector3(0, angle, 0);
}
Eu fiz esse script meio de cabeça mas acredito que pode te dar um norte. Agora se você quiser fazer algo mais recente você pode usar o novo input system que funciona bem melhor com controles. Você encontra vídeos sobre ele usando controles de xbox no canal da Unity ou em canais famosos como Brackeys.