Faltava o return do IMC.
<meta charset="UTF-8">
<script>
function pulaLinha() {
document.write("<br>");
}
function mostra(frase) {
document.write(frase);
pulaLinha();
}
function calculaImc(altura, peso) {
var imc = peso / (altura * altura);
return imc;
}
var imcCalculado = calculaImc(1.77, 75);
mostra("O meu IMC é : " + imcCalculado);
</script>