Flávio, de fato não existe regra, o boa prática é que você use um valor que seja fácil de fazer os cálculos. Geralmente o pessoal usa números fechados como: 10px ou 20px.
Neste caso, quando utilizar 10px no HTML e eu setar um paragrafo com 1.6rem, estarei praticamente dizendo que ali naquele ponto a fonte é 16px.
Agora digamos que dentro desse paragrafo eu coloque um span e digo que ele tem 2em, eu vou considerar primeiro o tamanho do paragrafo, neste caso: 2 * 16 = 32px.
Pegou a ideia? De fato, não há regra, há boas práticas.
Uma boa prática é que: para todo elemento independente, você utilize rem, e dentro dele, em. Isso ajuda no design responsivo da página. Quando a fonte do HTML mudar de tamanho, todos os outros elementos da página se adaptam de acordo com a proporção.