Não é uma duvida, mas apenas registrar que para conseguir importar o arquivo xlsx precisei rodar no Anaconda Prompt o comando: conda install -c anaconda xlrd.
Já para importar o html precisei rodar os seguintes comandos no Anaconda Prompt: conda install -c anaconda lxml conda install -c anaconda html5lib conda install -c anaconda beautifulsoup4
Ainda assim para funcionar, precisei executar o comando Restart do menu Kernel do Jupyter (apenas para o html)