Oii Felipe, tudo certo?
A biblioteca em questão que deve ser instalada é a sqlalchemy, que é instalada no curso também. Você deve instalar no ambiente do Anaconda para que consiga usar no Jupyter sem ter problemas.
Eu rodei o código de aula no meu Jupyter local e deu certo, consegui o mesmo resultado da aula, como pode ver na imagem abaixo:
Você pode ver que eu deixei o pip de instalação da biblioteca, mas eu já tinha conferido que no meu ambiente ela já estava instalada, você pode instalar ela pelo Anaconda Prompt com o comando:
conda install sqlalchemy
Se continuar dando o mesmo erro, ou algum erro diferente, me conta e vamos tentando resolver por aqui :D
Bons estudos ^^