Oii Marcos, tudo certinho por aí?
Tem como sim, basta concatenarmos (juntarmos através do sinal de mais) a tag br com a operação, veja como fica:
<meta charset="UTF-8">
<script>
document.write("Médias de notas da prova 01");
document.write( "<br>" + ((5 + 2 + 10) /3));
</script>
Outro modo, é deixar a tag br no final da primeira frase. Exemplo:
<meta charset="UTF-8">
<script>
document.write("Médias de notas da prova 01 <br>");
document.write((5 + 2 + 10) /3);
</script>
Um detalhe a respeito do seu código é que a sintaxe de document está escrita erroneamente. Você escreveu documente na linha onde escreve a tag br, o correto é document.write.
Qualquer dúvida estou por aqui, tá bom?
Grande abraço!