Quando eu estava aprendendo a utilizar ambientais virtuais em fiquei curioso em saber se era possível relacionar o ambiente criado com o jupyter lab/notebook e tem!
Infelizmente não me lembro a fonte, mas ao criar o seu ambiente virtual o comando:
ipython kernel install --user --name={nome do ambiente virtual}