Oi, Pablo! Tudo bem com você?
Desculpa a demora em te trazer uma resposta.
Antes da versão 3.7 do Python, os plots com matplotlib eram criados em janelas, os quais poderíamos editar o plot, salvar, e editar sua visualização como mostrado abaixo:

E para que fosse evitado criar uma janela durante a plotagem e que a plotagem saia na linha de execução, era necessário utilizar a "função mágica" %matplotlib inline
.
Mas após a atualização da versão, todas as plotagens do matplotlib são feitas na linha de execução, sem a necessidade de definir o comando %matplotlib inline
, como mostrado abaixo:
import numpy as np
import matplotlib.pyplot as plt
plt.plot(range(10),'r')
plt.show()

No tópico Não entendi a função %matplotlib inline um instrutor explicou para que serve a função o %matplotlib inline
, sugiro ler o post pois ele é bem objetivo na explicação.
Caso que você deseje executar um plot em linha de execução, como é o caso do curso, não precisa executar essa "função mágica" no seu código. Se você deseja ter seu plot em uma janela de execução como mostrada acima, você pode executar a "função mágica" %matplotlib notebook
como no exemplo:
import numpy as np
import matplotlib.pyplot as plt
%matplotlib notebook
plt.plot(range(10),'r')
plt.show()
Espero ter te ajudado. Bons estudos!