Oi Jorge! Tudo bem?
Sua dúvida é bastante pertinente. A escolha da unidade de medida para redimensionar imagens e textos pode ser um pouco confusa no início, mas vamos lá!
O "rem" é uma unidade de medida relativa ao tamanho da fonte do elemento "html". Isso significa que, se você definir o tamanho da fonte do elemento "html" como 16px, 1rem será equivalente a 16px. Se você aumentar o tamanho da fonte do elemento "html" para 20px, 1rem passará a ser equivalente a 20px.
Já a porcentagem é uma unidade de medida relativa ao tamanho do elemento pai. Por exemplo, se você definir o tamanho de uma imagem em 50%, ela terá metade do tamanho do elemento pai.
Em relação à sua pergunta sobre qual unidade é melhor para deixar a página responsiva, não há uma resposta definitiva. Tudo depende do seu projeto e do resultado que você deseja alcançar. Em alguns casos, pode ser mais conveniente usar o "rem", enquanto em outros, a porcentagem pode ser mais adequada.
No caso da imagem de 800 x 600px que você mencionou, você poderia definir o tamanho dela em 50rem x 37.5rem, desde que o tamanho da fonte do elemento "html" esteja definido como 16px. Mas se você preferir usar porcentagem, poderia definir o tamanho da imagem em 50% x 37.5%, por exemplo.
Espero ter ajudado a esclarecer suas dúvidas.
Um abraço e bons estudos.