Olá, tudo bem?
Você teria que mudar um pouco esse esquema de rotação porque da forma que está só vai funcionar com o mouse mesmo.
Acredito que você possa fazer algo como:
 float x = Input.GetAxis("Input Xbox X aqui vai o nome que você vai dar");
 float y = Input.GetAxis("Input Xbox X aqui vai o nome que você vai dar");
 if (x != 0 || y != 0) {
     float angle = Mathf.Atan2(y, x) * Mathf.Rad2Deg;
     transform.eulerAngles = new Vector3(0, angle, 0);
 }
 Eu fiz esse script meio de cabeça mas acredito que pode te dar um norte. Agora se você quiser fazer algo mais recente você pode usar o novo input system que funciona bem melhor com controles. Você encontra vídeos sobre ele usando controles de xbox no canal da Unity ou em canais famosos como Brackeys.