Faltou colocar o return para que seja guardado o valor na variavel.
<meta charset="UTF=8">
<script type="text/javascript">
function pulaLinha(){
document.write("<br>");
document.write("<br>");
}
function mostra(frase){
document.write(frase);
pulaLinha();
}
function calculaImc(altura, peso) {
var imc = Math.round(peso / (altura * altura));
return imc;
}
var imcCalculado = calculaImc(1.77, 75);
mostra("O meu IMC é : " + imcCalculado);
</script>
</script>