Olá, Ramon, tudo bem?
Um aluno estava enfrentando esse mesmo problema que o seu e compartilhou aqui no fórum:
- Vá na aba Compute e clique no nome do cluster.
- Na parte inferior, selecione Advanced e localize a opção Access mode.
- Escolha Manual e, em seguida, Dedicated.
- Verifique se o e-mail aparece logo abaixo e clique em Save.
- Quando solicitado, reinicie o cluster.
Após a reinicialização, execute novamente o comando no notebook.
O resultado deve retornar True e, ao listar o diretório, as pastas do Data Lake na Azure serão exibidas.
Peço que teste se essa solução resolve o problema. Fico à disposição!
Caso este post tenha lhe ajudado, por favor, marcar como solucionado ✓. Bons Estudos!