Vamos dar uma passadinha pelo em primeiro?
Muitas vezes queremos encarar os elementos da página como componentes. Por exemplo, você pode ter um painel que tem título e outras coisas que fazem sentido em todo painel. Daí, uma boa pedida é quando aumentamos o tamanho da fonte do painel, queremos que seus filhos aumentem proporcionalmente. Dessa maneira, qualquer modificação no tamanho da fonte do elemento pai terá impacto nos seus elementos filhos. Isso porque o em adota como valor o tamanho da fonte do elemento pai.
Já o rem, bem, este é parecido com o rem, mas o elemento filho toma como referência a fonte padrão da página, por exemplo, o tamanho da fonte da tag HTML (normalmente 16px nos navegadores). A vantagem desse é que qualquer elemento da página terá o mesmo referencial, facilitando assim prever o resultado quando aumentamos o tamanho da fonte da tag HTML. Contudo, ele não é tão elegante quando o rem, pois não permite ter uma proporção baseada no container, no elemento pai.
Já pixel, pode ser usado sem problema, mas nunca com valores gitantes. Por exemplo, não há nada de errado usar 200px, ou até mesmo 20px. Não há telas menores (ainda) do que 320px (view port). Contudo, se você quer realmente medidas relativas, pode considerar usar %.
Sobre os valores que o você citou do seu projeto: varia de programador para programador como ele vai combinar essas medidas. Contudo, nada o impede de querer flexibilizar ainda mais o layout usando medidas relativas e não absolutas.
Resumindo: design responsivo é uma palavra guarda-chuva que leva em consideração uso de media query, medidas relativas (em, rem, %, etc), imagens responsivas e outras técnicas.
Espero tê-lo ajudado com essa explicação informal.