Oi, Julio.
Sim, você pode. E as vezes deve.
Sendo o rem apenas uma unidade de medida de tamanho, você pode usar como tamanho de qualquer coisa. O Professor Luan Alves gosta bastante dessa unidade de medida vive usando em seus cursos para fazer padding de botões e até collum-gaps de display grid. Então eu creio que sim, você pode usar em qualquer coisa. Não esqueça que há uma certa conveniência em seu uso, por exemplo, se você for usar REM em um padding de um botão é pra que independentemente do tamanho de fonte o botão fique com as mesmas proporções de borda e texto, visto que o padding crescerá na mesma medida do texto.
Use REM quando você quiser que a sua referencia seja o tamanho do texto. Por exemplo: Um header que tenha o espaço de 3 linhas de texto, a sua altura será de 3rem
Use px para obter o tamanho de um pixel da tela, muito útil para desenhar linhas como em no uso de border-width para fazer bordas que tenham exatamente um pixel de largura.
Apenas analise se você prefere usar uma fonte ou um pixel de referencia. Decida com base em qual você achar melhor.
Isso é tudo. Felicidades!