Ei, Flavio! Tudo bem?
Sim, uma sugestão dada na documentação é usar as credenciais do Azure Active Directory (AAD) do próprio usuário que está executando o notebook ou job no Databricks. Isso pode ser feito através da autenticação pass-through, que permite que as permissões do AAD do usuário sejam usadas para acessar o Data Lake.
Os passos de configuração se resume a:
Ver se a sua instância do Databricks está configurada para suportar a autenticação pass-through. É preciso configurar um cluster com a opção de autenticação pass-through habilitada.
Garantir que o usuário do AAD que está acessando o Databricks tenha as permissões apropriadas no Data Lake. Isso pode ser feito através do portal do Azure, configurando as permissões de acesso para o usuário diretamente no Data Lake.
Quando o usuário estiver autenticado no Databricks, as operações de leitura e escrita no Data Lake poderão ser realizadas com base nas permissões que o usuário possui no AAD.
E se atente as permissões de segurança e acesso, elas precisam estar configuradas certinho para evitar acessos não autorizados.
Mais sobre os passos e detalhes, acesse a documentação:
Espero que seja uma boa alternativa para você.
Bons estudos, Flávio!
Caso este post tenha lhe ajudado, por favor, marcar como solucionado!