Ao invés de escrever o código assim:
<meta charset="UTF-8">
alert("Este é um popup feito com JavaScript");
<script>
<h1>Primeiro programa</h1>
</script>
Fugencio deve se atentar ao que é o mundo HTML e o que é o mundo JavaScript, sendo assim, o código correto ficaria assim:
<meta charset="UTF-8">
<h1>Primeiro programa</h1>
<script>
alert("Este é um popup feito com JavaScript");
</script>
Ou seja, a tag h1 pertence ao mundo do HTML. Já o alert é um comando do mundo do JavaScript e deve ficar englobado entre as tags scripts de abertura e fechamento.