Faaaaala, Ítalo, beleza?
NaN significa not a number, geralmente aparece isso quando o JavaScript tenta realizar operações númericas com elementos que não são números. Eu fiz alguns ajustes no seu código e comentei cada linha, caso não tenha entendido alguma parte é só avisar.
<meta charset="UTF-8">
<script>
// Aqui o nome da função estava pula mas na função mostra() você chamava como
// pulaLinha(), então ajustei o nome aqui, beleza?
function pulaLinha() {
document.write("<br>");
document.write("<br>");
}
function mostra(frase) {
document.write(frase);
pulaLinha();
}
function calculaIMC(altura, peso){
var imc = peso / (altura * altura);
mostra("o meu imc é de: " + imc);
}
var altura = 177 * 0.01; // O cálculo de IMC geralmente é feito com a altura em metros
var peso = 64;
calculaIMC(altura, peso); //Eu inverti a ordem porque antes você chamava a calculaIMC
// sem as variáveis terem sido inicializadas ainda. Outro problema é que você não estava
// enviando os parâmetros que foram definidos no cabeçalho da function
</script>Uma última observação, quando for postar seus códigos aqui no fórum, cole ele aqui, marque o código e use o botão </>
Isso facilita porque permite copiar seu código, por exemplo.