Oi Lilian Kotvan o principal erro foi na linha em que chamamos a função mostra e passamos o calculo da diferença das idades, a função mostra trabalha somente com texto, o ideal é que façamos esse cálculo e a chamemos somente para mostrar o resultado.
<meta charset="UTF-8">
<script>
function pulaLinha(){
document.write("<br>");
}
function mostra(frase){
document.write(frase);
pulaLinha();
}
var anoAtual = 2018;
var idadeLilian = anoAtual - 1980;
var idadeBia = anoAtual - 2008;
mostra("Idade Lilian: " + idadeLilian);
mostra("Idade Bia: " + idadeBia);
var diferenca = idadeLilian - idadeBia;
alert("A diferença de idade entre a Lilian e a Bia é: "+diferenca);
</script>
Espero ter ajudado e bons estudos.