Preciso fazer dois arquivos php ?

O mesmo código do header e rodape será usado em diversas páginas. Se você decide não criar os dois arquivos, vai acabar tendo que inserir o código dos mesmos repetidamente nos vários outros. Acho que a melhor abordagem é a criação dos dois arquivos.

A melhor abordagem seria utilizar algum framework mvc para você ter um controle melhor sobre as camadas de sua aplicação, ou utilizar um sistema de views como o smarty templates, mas se quiser algo mais simples, sim separe por arquivos.

Pra quem está começando a estudar PHP. Creio que falar sobre frameworks MVC ainda está um pouco distante. Eu sou da opinião de que pra usar, tem que entender. Não adianta sair usando um framework avançado se o entendimento de PHP ainda não está maduro. Como o curso em questão é o primeiro entre muitos, acho melhor a abordagem de dois arquivos.