Olá Eduardo, tudo bem? Espero que sim!
Desculpe pela demora em retornar.
A instalação de bibliotecas é necessária apenas na primeira vez para que fique no seu ambiente. Feito essa primeira instalação ela não é mais necessária.
A biblioteca pandas geralmente quando é instalada, já instala bibliotecas como xlrd e lxml porque são pré-requisitos para as funções de leitura de arquivos excel e html funcionarem, portanto só será necessário instalar as bibliotecas que você citou caso apresente algum erro.
Bons estudos!