Boa tarde Geovane,
Segue a definição segundo a Wikipédia:
Motor de renderização (ou motor de layout) é um software que transforma linguagem de marcação (como HTML, XML, etc.) e informações de formatação (como CSS, XSL, etc.) em um conteúdo formatado para ser exibido em uma tela (como um monitor, projetor, etc..) Ele é tipicamente usado por navegadores, clientes de e-mail, ou outro software que necessite mostrar (ou editar) conteúdo da WWW.
Então, sim! O motor de layout é o que está por trás dos navegadores, mas ele não é a mesma coisa que um navegador, o navegador utiliza-se destes motores de layouts para renderizar o que a gente faz e mostrar na tela.
Espero ter ajudado!
Abraços!